概要
dlmserveは、拡散型言語モデル（Diffusion LLMs）向けにOpenAI互換のHTTPサービスを提供するツールです。
拡散型LLM特有の双方向アテンションや固定長キャンバスといった特性に最適化されており、継続的バッチ処理とLocalLeapアクセラレーションを組み合わせることで、非常に高い推論パフォーマンスを実現します。
これにより、拡散型LLMを効率的にデプロイし、OpenAI API形式で簡単に利用したい開発者や研究者に最適です。
LLaDA-8B-Instructなどのモデルをサポートし、GPU環境での高速な動作が可能です。
互換性・特徴
- OpenAI API互換
- 拡散型LLM
- Python
- Docker
- GPU必須
- HTTP API
基本情報
| ライセンス | MIT |
| Stars | 6 |
| Forks | 1 |
| カテゴリ | 画像生成 |
| アクティビティ | low |
最新のissue
- LocalLeapの上に、さらなる高速化技術を積み重ねる (SlowFast, dInfer, ES-dLLM) (更新: 2026-05-25 / Stack additional acceleration techniques on top of LocalLeap (SlowFast, dInfer, ES-dLLM))
- ステップごとのSSEストリーミング（真のディフュージョン進捗イベント） (更新: 2026-05-25 / Per-step SSE streaming (true diffusion progress events))
- Fast-dLLM コミット済みトークン KV キャッシュ (更新: 2026-05-25 / Fast-dLLM committed-token KV cache)
- LLaDA 2.0 (inclusionAI) モデルのサポートを追加 (更新: 2026-05-25 / Add LLaDA 2.0 (inclusionAI) model support)
- 本番ステップ数で、高品質なMMLU/HumanEvalベンチマークを公開 (更新: 2026-05-25 / Publish full-quality MMLU/HumanEval benchmarks at production step count)
最新リリース: v0.1.1 (2026-05-25)