概要
Music Flamingoは、音楽や楽曲の理解に特化したNVIDIAの大規模音声言語モデルです。
曲調、テンポ、キー、楽器構成、制作スタイル、歌詞や文化的背景まで含む詳細な説明や質疑応答、長尺楽曲の推論に対応します。
Transformers経由で音声+テキスト、マルチターン対話、音声のみ、テキストのみの入力を扱え、音楽解析や研究用途の評価実験を行いたい研究者・開発者向けです。
非商用の研究利用に限定されます。
互換性・特徴
- Python
- Transformers
- CLI
- 音声入力対応
- GPU推奨
- 研究用途限定
基本情報
| ライセンス | other |
| Likes | 99 |
| Downloads | 106,784 |
| Pipeline | audio-text-to-text |
| カテゴリ | マルチモーダル |
| アクティビティ | low |
HuggingFace: https://huggingface.co/nvidia/music-flamingo-2601-hf