概要
この「MiniMind」プロジェクトは、わずか数元の費用と短時間の訓練で、GPT-3の約1/2700という超小型言語モデルをゼロから構築・訓練できるオープンソースプロジェクトです。
個人のGPUでも高速にモデルを再現可能で、MoE、データクリーニング、事前学習、SFT、LoRA、RLHF、RLAIF、ツール利用、Agentic RL、モデル蒸留など、大規模言語モデルの全訓練プロセスと極めてシンプルな構造を公開しています。
PyTorchネイティブ実装により、LLMの内部を深く理解したい初心者から実践者まで、誰でも再現・理解・拡張可能な出発点を提供し、創造の楽しさを共有します。
互換性・特徴
- Python
- GPU必須
- Hugging Face対応
- ModelScope対応
- transformers対応
- LLM
基本情報
| ライセンス | Apache-2.0 |
| Stars | 52,008 |
| Forks | 6,689 |
| カテゴリ | LLM |
| アクティビティ | high |
最新のissue
- 有没有出更多数据集的打算 (更新: 2026-06-20)
- モデルに100までの足し算と引き算を学習させる方法 (更新: 2026-06-12 / 如何让模型学会100内的加减法？)
最新リリース: MiniMind Docs (2025-10-21)