概要
Steerlingは、解釈可能な因果拡散言語モデルであり、マスク型拡散言語モデリングとコンセプト分解を統合しています。
このツールは、自信度に基づく非自己回帰型テキスト生成、予測を既知のコンセプト貢献に分解する機能、コンセプトのアクティベーションを操作して生成を制御する機能、そしてさまざまな表現を抽出する機能を提供します。
80億パラメータのモデルで、生成されたテキストの各予測が「既知のコンセプト」「発見されたコンセプト」「イプシロン」の3要素に分解され、高い解釈性を持つことが最大の特徴です。
言語モデルの内部動作を深く理解し、その生成プロセスをより細かく制御したい研究者や開発者、特にAIの解釈性に関心のあるAIエンジニアを想定しています。
本ツールはPython製で、18GB以上のVRAMを持つGPUとCUDA 12.8環境を必要とします。
互換性・特徴
- Python
- GPU必須
- HuggingFace
- PyTorch
- CLI
基本情報
| ライセンス | Apache-2.0 |
| Stars | 229 |
| Forks | 14 |
| カテゴリ | LLM |
| アクティビティ | mid |
最新のissue
- 自己回帰ブロック生成が実装されていません (更新: 2026-03-06 / Autoregressive Block Generation is not implemented)
- RTX 3090 + A100での実行に関する問題 (更新: 2026-02-25 / Issue running on RTX 3090 + A100)
- プロンプト帰属のためのコード (更新: 2026-02-24 / Code for prompt attribution)