概要
Crashout Buddyは、Vision AgentsとStream Video上に構築された、リアルタイムで感情認識を行う音声AIエージェントのデモツールです。
ビデオ通話中にユーザーの顔の表情（感情、視線、エンゲージメント）をMediaPipeで検出し、その状態に合わせてInworld TTS v2によるAIエージェントの音声表現を動的に調整します。
バックエンドはPython製でGemini LLM、Deepgram STT、Anamアバターと連携し、フロントエンドはNext.jsで構築されたWeb UIです。
感情豊かなAIエージェントとのリアルタイム対話システムの構築やデモに関心のある開発者や企業を想定しています。
互換性・特徴
- Python
- Web UI
- Gemini対応
- 感情認識
- リアルタイム
- CLI
基本情報
| ライセンス | MIT |
| Stars | 3 |
| カテゴリ | 音声生成 / TTS |
| アクティビティ | low |