概要
このプロジェクトは、Datawhaleが提供する大規模言語モデル（LLM）の体系的な学習チュートリアルです。
NLPの基礎、Transformerアーキテクチャ、事前学習モデルの原理を深く理解し、LLaMA2の実装や事前学習からファインチューニングまでの全プロセスを実践的に学びます。
特徴は、理論と実装の組み合わせ、そしてRAGやAgentなどの応用技術もカバーしている点です。
LLMの原理とトレーニングプロセスを深く理解し、自分で大モデルを構築したい学習者を対象としています。
互換性・特徴
- Python
- GPU必須
- LLM学習
- Transformer
- LLaMA2
基本情報
| ライセンス | NOASSERTION |
| Stars | 31,400 |
| Forks | 2,974 |
| カテゴリ | LLM |
| アクティビティ | mid |
最新のissue
- 問題: チャプター5.1.6 残差射影スケーリング初期化箇所でw2がw3と誤記されている可能性 (更新: 2026-06-07 / [问题/Issue] 章节5.1.6：残差投影缩放初始化处疑似将 w2 写成 w3 / Chapter5.1.6: Brief description)
- 問題: チャプター2.2.5 Encoder: MutilAttentionのwoとfeed_forwardのMLPの出力次元をargs.n_embdに修正 (更新: 2026-05-27 / [问题/Issue] 章节2.2.5 Encoder：MutilAttention中的wo的输出维度需要修改为args.n_embd，feed_forward中的MLP的输出维度应该改为args.n_embd)
最新リリース: Happy-LLM v1.0.2 0129 PPT 发布！ (2026-01-29)