概要
Project Chronosは、SSDとDRAMを活用したハイブリッド推論に特化した、ストレージ認識型のMoE (Mixture of Experts) スタックです。
デコード時のIOボトルネックを解消するため、プリフィル時にエキスパートを予測的に読み込み、エキスパートごとの非同期同期メカニズムを導入し、低コストなハードウェア上でもMoEモデルの効率的な推論を可能にします。
また、6段階の完全なトレーニングパイプラインを提供し、バランス、時間的局所性、ルックアヘッド、ルーターKLアンカーといった独自のロス関数を組み込むことで、推論パフォーマンスとモデル品質の両立を図ります。
LLMの研究者や、コンシューマー向け環境でMoEモデルの推論速度向上を目指す開発者に最適です。
互換性・特徴
- Python
- LLM
- MoE
- GPU必須
- CLI
- ストレージ最適化
基本情報
| ライセンス | Apache-2.0 |
| Stars | 204 |
| Forks | 21 |
| カテゴリ | LLM |
| アクティビティ | mid |
最新リリース: v0.2.1 Beta Version (2026-04-26)