概要
この「MiniMind」プロジェクトは、わずか数元の費用と短時間の訓練で、GPT-3の約1/2700という超小型言語モデルをゼロから構築・訓練できるオープンソースプロジェクトです。
個人のGPUでも高速にモデルを再現可能で、MoE、データクリーニング、事前学習、SFT、LoRA、RLHF、RLAIF、ツール利用、Agentic RL、モデル蒸留など、大規模言語モデルの全訓練プロセスと極めてシンプルな構造を公開しています。
PyTorchネイティブ実装により、LLMの内部を深く理解したい初心者から実践者まで、誰でも再現・理解・拡張可能な出発点を提供し、創造の楽しさを共有します。
互換性・特徴
- Python
- GPU必須
- Hugging Face対応
- ModelScope対応
- transformers対応
- LLM
基本情報
| ライセンス | Apache-2.0 |
| Stars | 53,318 |
| Forks | 6,907 |
| カテゴリ | LLM |
| アクティビティ | high |
最新のissue
- [Feature Request] add On-Policy Distillation (OPD) (更新: 2026-07-07)
- MiniMind+Twinkle 线上训练服务 (更新: 2026-06-26)
最新リリース: MiniMind Docs (2025-10-21)