概要
BitBrainは、最小限のGPUリソース（RTX 3090以上）で独自の小型LLM（miniLLM）を学習できるプロジェクトです。
Qwen3-0.6BアーキテクチャをベースにしたBitbrain-0.6B-baseモデルは、約200Bトークンの高品質な中英データで事前学習されており、高い学習効率とパフォーマンスを誇ります。
分散学習、混合精度、最適化されたカーネルなどの技術により、小規模な環境でも効率的なLLM学習を可能にします。
C-Evalによる評価も行われており、限られた計算資源で高性能なLLMを構築・研究したい開発者や研究者を想定しています。
互換性・特徴
- GPU必須
- Python
- CLI
- LLM
- 中国語対応
- 英語対応
基本情報
| ライセンス | Apache-2.0 |
| Stars | 41 |
| Forks | 2 |
| カテゴリ | LLM |
| アクティビティ | low |