概要
EVAは、会話型音声エージェントの性能をエンドツーエンドで評価するためのオープンソースフレームワークです。
エージェントがタスクを正確に実行したか（EVA-A）と、対話が自然で優れた体験を提供したか（EVA-X）の二つの主要な側面から評価します。
人間を介さず、ボット間のアーキテクチャを通じて完全に自動化された評価が可能で、213のエンタープライズシナリオや、背景ノイズ、アクセント、接続品質の低下といった音声特有の摂動スイートも含まれています。
音声エージェントの開発者や研究者が、より詳細で包括的な評価を行うことを目的としています。
互換性・特徴
- CLI
- Python
- HuggingFace
- uv
- 自動評価
- ボット間
基本情報
| ライセンス | MIT |
| Stars | 179 |
| Forks | 28 |
| カテゴリ | 音声生成 / TTS |
| アクティビティ | mid |
最新のissue
- Add AWS/Bedrock user simulator (roadmap: "User Simulator Options") + optional Bedrock agent STT/TTS & judges (更新: 2026-07-12)
- Feature Proposal: Agent integration scenarios automated bootstrap (更新: 2026-07-12)
最新リリース: 2.0.0 (2026-05-15)