概要
この「LLM Observability Platform: Core Python Infrastructure」は、LLMアプリケーション向けに設計された高性能な可観測性および評価プラットフォームです。
自動計装により、OpenAIやLangChainなどの人気LLMクライアントのHTTP呼び出しをコード変更なしで透過的に監視します。
特徴としては、ステートフルなチャットオーケストレーション、セマンティックベクトルメモリキャッシング、Temporalワーカーによるコスト異常検知、個人情報（PII）やインジェクションのスキャンとリダクション機能を提供します。
また、PrometheusメトリクスとGrafanaダッシュボードと連携し、詳細な監視と可視化を実現。
開発者や運用者がLLMの挙動、コスト、セキュリティを効率的に管理し、最適化を図ることを想定しています。
CLIツールやDockerデプロイにも対応し、LLMアプリケーションの健全な運用を支援します。
互換性・特徴
- Python
- LLM
- Observability
- CLI
- Docker
- Prometheus/Grafana
基本情報
| ライセンス | Apache-2.0 |
| Stars | 3 |
| Forks | 1 |
| カテゴリ | LLM |
| アクティビティ | low |
GitHub: https://github.com/Chief-Strategist-J/llm-observability-platform