概要
このリポジトリは、書籍「Build a Large Language Model (From Scratch)」の公式コードベースです。
GPTに似た大規模言語モデル（LLM）をゼロから開発、事前学習、ファインチューニングするための実践的なコードとガイドを提供します。
教育目的で小規模ながら機能的なLLMを構築する手法を段階的に学ぶことができ、大規模な事前学習済みモデルの重みをロードしてファインチューニングする機能も含まれています。
LLMの内部動作を深く理解し、実際に手を動かしてモデルを構築したい開発者や学習者を主な対象としています。
互換性・特徴
- Python
- CLI
- LLM開発
- 学習
- GPU必須
基本情報
| ライセンス | NOASSERTION |
| Stars | 97,476 |
| Forks | 14,933 |
| カテゴリ | LLM |
| アクティビティ | high |
最新のissue
- プロジェクトに関するお問い合わせ (更新: 2026-06-19 / ask about project)
- SimpleTokenizer の改善 (更新: 2026-05-27 / Improvement to SimpleTokenizer)
- PythonスクリプトへのApple Mシリーズ (MPS) デバイスサポートの追加 (更新: 2026-05-23 / Add Apple M-series (MPS) device support to Python scripts)