Awesome-Self-Distillation

概要

「Awesome Large Model Self-Distillation」は、大規模言語モデル（LLMs）、マルチモーダルLLMs（MLLMs）、推論モデル、拡散LLMs、大規模生成モデルにおける「自己蒸留」技術に関する厳選された論文リストです。

本リポジトリは、外部の強力な教師に頼ることなく、モデル自身が学習・改善するさまざまなアプローチ（例：オンポリシー自己蒸留、自己改訂、自己参照圧縮）を体系的に追跡しています。

最新の研究動向を効率的に把握し、関連する公開コードベースへアクセスしたい研究者や開発者が主な対象ユーザーです。

互換性・特徴

• 情報キュレーション
• 研究
• LLM
• 自己蒸留
• Python関連
• GitHub連携

基本情報

GitHub: https://github.com/MAC-AutoML/Awesome-Self-Distillation