概要
このリポジリは、ChatGPTなどに使われている大規模言語モデル（LLM）をゼロから構築、学習、実行する方法を学ぶためのインタラクティブな教科書です。
12章と7,500行以上のコードで構成され、トークナイザーからAttentionメカニズム、推論エンジンまで、LLMの主要コンポーネントをコードを書きながら深く理解できます。
各行には詳細な解説が付いており、Pythonの基礎知識があれば機械学習の経験がなくても始められるよう設計されています。
特に、既存のチュートリアルで難解と感じた概念も、比喩と実践的なコードを通じて明確に解説。
ChatGPTの内部動作に関心のあるPython開発者や、Transformerモデルを詳細に学びたい学生、LLMアーキテクチャを評価するエンジニアに最適です。
互換性・特徴
- Python
- LLM
- Transformer
- 学習ガイド
- Colab
- LLaMA 3 style
基本情報
| ライセンス | MIT |
| Stars | 2,266 |
| Forks | 303 |
| カテゴリ | LLM |
| アクティビティ | high |
GitHub: https://github.com/raiyanyahya/how-to-train-your-gpt