概要
このツールは、Ollama（LLM）、LiteLLM（AIゲートウェイ）、Whisper（STT）、Kokoro（TTS）、Embeddings（RAG）などを含む包括的な自己ホスト型AIスタックを、単一コマンドでサーバーにデプロイします。
セットアップ不要で、サービスは自動設定され、APIキーも自動生成されるため、簡単に利用開始できます。
オーディオ処理、埋め込み、LLM推論はローカルで実行され、高いプライバシーを提供します。
LiteLLMは外部プロバイダーへのルーティングも可能で、NVIDIA GPUによる高速化もサポート。
データプライバシーを重視し、自身のサーバーでAI機能を構築したい開発者や研究者に最適です。
互換性・特徴
- Docker Compose
- LLM
- STT
- TTS
- RAG
- NVIDIA GPU
基本情報
| ライセンス | MIT |
| Stars | 15 |
| カテゴリ | TTS / 音声 |
| アクティビティ | low |