vllm-omni

概要

vLLM-Omniは、既存のvLLMを拡張し、オムニモダリティモデルの効率的かつ低コストな推論と提供を可能にするフレームワークです。

テキストに加え、画像、動画、音声データの処理に対応し、Diffusion Transformers (DiT) などの非自己回帰型モデルや多様なマルチモーダル出力をサポートします。

CUDA、ROCmなどのGPUバックエンドで高速実行が可能で、大規模なAIモデルのデプロイを検討している開発者や研究者向けに設計されています。

互換性・特徴

• Python
• GPU必須
• CLI
• モデル推論
• マルチモーダルAI
• Diffusionモデル

基本情報

最新リリース: v0.24.1 (2026-07-10)

GitHub: https://github.com/vllm-project/vllm-omni