eva

概要

EVAは、会話型音声エージェントの性能をエンドツーエンドで評価するためのオープンソースフレームワークです。

エージェントがタスクを正確に実行したか（EVA-A）と、対話が自然で優れた体験を提供したか（EVA-X）の二つの主要な側面から評価します。

人間を介さず、ボット間のアーキテクチャを通じて完全に自動化された評価が可能で、213のエンタープライズシナリオや、背景ノイズ、アクセント、接続品質の低下といった音声特有の摂動スイートも含まれています。

音声エージェントの開発者や研究者が、より詳細で包括的な評価を行うことを目的としています。

互換性・特徴

• CLI
• Python
• HuggingFace
• uv
• 自動評価
• ボット間

基本情報

最新リリース: 2.0.0 (2026-05-15)

GitHub: https://github.com/ServiceNow/eva