概要
Music Flamingoは、楽曲やインストゥルメンタル音源を対象に、ジャンル・テンポ・キー・楽器構成・雰囲気・歌詞や文化的背景まで含めて解析・説明できるNVIDIAの大規模音声言語モデルです。
Hugging Face Transformersから利用でき、音声+テキスト指示、音声のみ、テキストのみ、バッチ推論や学習にも対応します。
音楽理解や音楽QA、研究用途の評価・実験を行いたい研究者や開発者向けで、商用利用ではなく非商用研究向けに公開されています。
互換性・特徴
- Python
- Transformers
- CLI
- 音声入力対応
- GPU推奨
- 研究用途限定
基本情報
| ライセンス | other |
| Likes | 95 |
| Downloads | 9,579 |
| Pipeline | audio-text-to-text |
| カテゴリ | マルチモーダル |
| アクティビティ | low |
HuggingFace: https://huggingface.co/nvidia/music-flamingo-hf