概要
Project Chronosは、SSDとDRAMを活用したハイブリッド推論に特化した、ストレージ認識型のMoE (Mixture of Experts) スタックです。
デコード時のIOボトルネックを解消するため、プリフィル時にエキスパートを予測的に読み込み、エキスパートごとの非同期同期メカニズムを導入し、低コストなハードウェア上でもMoEモデルの効率的な推論を可能にします。
また、6段階の完全なトレーニングパイプラインを提供し、バランス、時間的局所性、ルックアヘッド、ルーターKLアンカーといった独自のロス関数を組み込むことで、推論パフォーマンスとモデル品質の両立を図ります。
LLMの研究者や、コンシューマー向け環境でMoEモデルの推論速度向上を目指す開発者に最適です。
互換性・特徴
- Python
- LLM
- MoE
- GPU必須
- CLI
- ストレージ最適化
基本情報
| ライセンス | Apache-2.0 |
| Stars | 202 |
| Forks | 20 |
| カテゴリ | LLM |
| アクティビティ | mid |
最新のissue
- 短期Star暴涨——又一个刷星的 (更新: 2026-06-18)
- 如果维护者和真相对话（附数据） (更新: 2026-06-18)
- 今天在做开源项目健康度评估的时候把你们这个项目列为了反面案例，原因你们应该猜得到。 (更新: 2026-06-18)
最新リリース: v0.2.1 Beta Version (2026-04-26)