概要
AwesomeOPDは、LLM（大規模言語モデル）、VLM（視覚言語モデル）、エージェント、ドラフトモデルを対象としたオンポリシー蒸留（OPD）およびオンポリシー自己蒸留（OPSD）のオープンソースリポジトリと論文をまとめたキュレーションリストです。
学生モデルが自身の軌跡をサンプリングし、教師モデルがそれらのサンプルにスーパービジョンを提供するOPDの概念と、教師モデルが同じモデルであるOPSDの特殊ケースについて詳述しています。
各エントリは教師ソース、監視シグナル、ロールアウト消費、パイプラインスロットといった設計軸で詳細に分類されており、LLMコーディングエージェントにより構築され、手動でレビューされています。
LLMのトレーニング手法、特に蒸留技術の研究開発を行う研究者や開発者、また関連知識を求める学習者にとって有用なリソースです。
互換性・特徴
- LLM
- Python
- 研究
- オープンソース
- AI/ML
- 蒸留
基本情報
| Stars | 223 |
| Forks | 3 |
| カテゴリ | LLM |
| アクティビティ | mid |
最新のissue
- プロジェクトへの参加を希望します (更新: 2026-05-06 / Hope to join the project)