概要
このツールはKaggleのGPU上で動作するマルチモーダルLLMサーバーで、テキストと画像の処理が可能です。
無料のKaggle GPUを利用し、ローカルGPUや有料プランなしで、どのマシンからでもアクセスできるOpenAI互換のAPIを提供します。
llama.cppをバックエンドとしてQwen3.6-35B-A3Bモデルを使用し、Cloudflare Tunnel経由で公開されます。
OpenAI互換のAPIのため、LangChainやOpen WebUIなどの既存のクライアントから簡単に接続でき、AIモデルの推論環境を構築したい開発者や研究者に適しています。
互換性・特徴
- GPU必須
- OpenAI互換
- Python
- CLI
- Web UI
- マルチモーダル
基本情報
| Stars | 3 |
| Forks | 4 |
| カテゴリ | マルチモーダル |
| アクティビティ | low |