概要
このリポジトリは、現代の大規模言語モデル（LLM）をゼロから構築、訓練、実行する方法を学ぶための12章構成のインタラクティブな教科書です。
トークナイザー、埋め込み、アテンション、トレーニングループ、推論エンジンといった主要コンポーネントを、LLaMA 3スタイルアーキテクチャに沿ってコードを書きながら深く理解できます。
全コードは丁寧にコメントされ、「5歳児にも分かる」比喩と「エンジニア向けの構築」を両立。
Pythonの基本知識があれば、機械学習の経験がなくてもChatGPTの内部構造を深く学びたい開発者や学生に最適です。
互換性・特徴
- Python
- CLI
- CPU対応
- GPU推奨
- Jupyter Notebook
基本情報
| ライセンス | MIT |
| Stars | 1,025 |
| Forks | 139 |
| カテゴリ | LLM |
| アクティビティ | high |
GitHub: https://github.com/raiyanyahya/how-to-train-your-gpt