概要
mdrouterは、OpenAI、Ollama、Anthropicといった複数のLLMプロバイダーに対応したルーターです。
低コスト、低遅延、そして予測可能な運用に重点を置いており、多様なAPI互換性とプロバイダーに依存しないエイリアスルーティングを提供します。
特に、リクエストを自動分類し最適なモデルを選択するスマート仮想エイリアス「mdrouter/auto」が特徴です。
JSONLによる詳細なリクエストロギングや、リクエスト、キャッシュ、トークン/コストの可視化を可能にするCLIツールも備えており、複数のLLMサービスを効率的に管理・運用したい開発者やシステム担当者に最適です。
互換性・特徴
- LLMルーター
- OpenAI互換
- Ollama互換
- Anthropic互換
- Python
- CLI
基本情報
| ライセンス | MIT |
| Stars | 3 |
| カテゴリ | LLM |
| アクティビティ | low |