概要
vLLM-Omniは、既存のvLLMを拡張し、オムニモダリティモデルの効率的かつ低コストな推論と提供を可能にするフレームワークです。
テキストに加え、画像、動画、音声データの処理に対応し、Diffusion Transformers (DiT) などの非自己回帰型モデルや多様なマルチモーダル出力をサポートします。
CUDA、ROCmなどのGPUバックエンドで高速実行が可能で、大規模なAIモデルのデプロイを検討している開発者や研究者向けに設計されています。
互換性・特徴
- Python
- GPU必須
- CLI
- モデル推論
- マルチモーダルAI
- Diffusionモデル
基本情報
| ライセンス | Apache-2.0 |
| Stars | 5,344 |
| Forks | 1,189 |
| カテゴリ | マルチモーダル |
| アクティビティ | high |
最新のissue
- [Bug]: Audio input -> text output OOM regression on aarch64 (v0.22.0) (更新: 2026-06-29)
- [RFC]: vLLM-Omni NPU 2026 Q2 Roadmap (更新: 2026-06-29)
最新リリース: v0.22.0 (2026-06-06)