概要
Orthrusは、大規模言語モデル（LLM）の推論を高速化するためのデュアルアーキテクチャフレームワークです。
自己回帰型LLMの正確な生成忠実性と、拡散モデルの高速な並列トークン生成を統合し、最大7.8倍の推論加速をロスレスで実現します。
特徴として、O(1)のメモリキャッシュオーバーヘッドで高いメモリ効率を誇り、モデル全体の16%のパラメータのみをファインチューニングすることで並列生成能力を付与します。
既存の投機的デコーディング手法と比較して優れたパフォーマンスを発揮するため、LLMの推論速度向上を目指す開発者や研究者に最適なツールです。
互換性・特徴
- Python
- GPU必須
- HuggingFace対応
- CLI
- Colab対応
基本情報
| ライセンス | MIT |
| Stars | 459 |
| Forks | 20 |
| カテゴリ | LLM |
| アクティビティ | mid |
最新のissue
- Question About Evaluation Prompts Used in Tables 1 and 2 (更新: 2026-07-02)
- MTPと比較してどうですか？ (更新: 2026-06-05 / How does it compare to MTP?)