概要
SoviaMateは、エンドツーエンドの音声対話システム（SDS）構築に向けたオープンな研究プロジェクトです。
特に、大規模言語モデル（LLM）との統合に特化したニューラルオーディオコーデック「SoviaMate-Codec」を提供しています。
このコーデックは、ASRデコーダによる言語情報の埋め込み、LLMへの連続特徴入力、ノイズに強い音声強調学習、話者適応による発話内容と話者の分離といった独自設計が特徴で、ゼロショットでの音声切り替えも可能です。
自然で制御可能な音声、実世界でのノイズ耐性、LLM統合を目指しており、音声対話システム、LLM統合、オーディオコーデックの研究開発を行う研究者や開発者が主な対象です。
互換性・特徴
- Python
- PyTorch
- Hugging Face
- CLI
- 研究向け
基本情報
| ライセンス | Apache-2.0 |
| Stars | 1 |
| カテゴリ | TTS / 音声 |
| アクティビティ | low |