概要
「nanoDLM」は、最もシンプルで、実際に学習・デバッグ・学習が可能なマスク拡散言語モデル（MDM）の実装です。
約1100行のプレーンなPyTorchで実装されており、文字レベルで動作し、複雑なライブラリに依存しないため、拡散言語モデルの仕組みを深く理解したい開発者や研究者に最適です。
既存のバグ修正、最新技術の導入、autoregressiveモデルとの直接比較を通じて、MDMの特性と実用性を明確に示し、ノイズからテキストが生成される過程を視覚的に体験できます。
互換性・特徴
- Python
- PyTorch
- CLI
- GPU推奨
基本情報
| Stars | 6 |
| カテゴリ | 画像生成 |
| アクティビティ | low |