概要
Xorbits Inference (Xinference) は、言語、音声認識、マルチモーダルモデルの提供を容易にする強力で多機能なライブラリです。
コードを一行変更するだけでGPTを任意のLLMに置き換え可能で、オープンソースモデル、音声モデル、マルチモーダルモデルをクラウド、オンプレミス、あるいは個人のラップトップ上で、統一された本番環境対応の推論APIを通じて実行できます。
自動バッチ処理によるスループット向上、分散推論、Xllamacppによる連続バッチ処理など、高度な機能も提供します。
研究者、開発者、データサイエンティストが最先端のAIモデルの可能性を最大限に引き出すことを想定しています。
互換性・特徴
- Python
- API
- マルチモーダル対応
- LLM対応
- GPU推奨
- 日本語ドキュメント対応
基本情報
| ライセンス | Apache-2.0 |
| Stars | 9,381 |
| Forks | 837 |
| カテゴリ | ASR / 音声認識 |
| アクティビティ | high |
最新リリース: v2.11.0 (2026-06-19)