概要
vLLM-Omniは、既存のvLLMを拡張し、オムニモダリティモデルの効率的かつ低コストな推論と提供を可能にするフレームワークです。
テキストに加え、画像、動画、音声データの処理に対応し、Diffusion Transformers (DiT) などの非自己回帰型モデルや多様なマルチモーダル出力をサポートします。
CUDA、ROCmなどのGPUバックエンドで高速実行が可能で、大規模なAIモデルのデプロイを検討している開発者や研究者向けに設計されています。
互換性・特徴
- Python
- GPU必須
- CLI
- モデル推論
- マルチモーダルAI
- Diffusionモデル
基本情報
| ライセンス | Apache-2.0 |
| Stars | 4,785 |
| Forks | 933 |
| カテゴリ | 音楽・音声生成 |
| アクティビティ | high |
最新のissue
- [RFC]: Prometheusの拡張 – マルチモーダルSLO、クロスステージ転送、レプリカごとのラベル (更新: 2026-05-17 / [RFC]: Extend Prometheus with multimodal SLOs, cross-stage transfer, and per-replica labels)
最新リリース: v0.20.0 (2026-05-07)