マルチモーダルmusic-flamingo-hf
Music Flamingoは、楽曲やインストゥルメンタル音源を対象に、ジャンル・テンポ・キー・楽器構成・雰囲気・歌詞や文…
❤ 99 ↓ 18.1k other 2026-04-04
マルチモーダル (298 repos)
カテゴリ「マルチモーダル」のリポジトリ一覧
マルチモーダル
マルチモーダルMOSS-VL-Instruct-0408
MOSS-VL-Instruct-0408は、OpenMOSS系の視覚言語モデルを教師あり微調整したマルチモーダル推論用チェックポイントで…
❤ 97 ↓ 373 apache-2.0 2026-04-22
マルチモーダルcc-VisionRouter
cc-VisionRouterは、Claude Code環境で画像非対応のLLMを利用する際に、画像を含むリクエストを自動的にマルチモーダ…
★ 96 MIT 2026-06-07
マルチモーダルultravox-v0_5-llama-3_2-1b
Ultravoxは、Llama 3.2 1B InstructとWhisper large v3 turboを組み合わせた音声対応マルチモーダルLLMです。音声と…
❤ 88 ↓ 1.2M mit 2026-03-11
マルチモーダルlocate-anything
「locate-anything」は、NVIDIAのLocateAnything-3Bモデルを利用した、モバイルフレンドリーなWebインターフェースで…
★ 86 ⑂ 11 Apache-2.0 2026-07-01
マルチモーダルopenmelon
OpenMelonは、ターミナル上で動作するAIコンテンツ作成エージェントです。ユーザーは単一のターミナルセッション内で…
★ 84 ⑂ 10 Apache-2.0 2026-05-11
マルチモーダルawesome-modality-missing-learning
このリポジトリは、モダリティ欠落学習（Modality Missing Learning, MML）および不完全マルチモーダル学習に関する…
★ 82 ⑂ 3 MIT 2026-06-27
マルチモーダルAwesome-AVI
JavisVerse/Awesome-AVIは、「大規模基盤モデルにおけるオーディオ・ビジュアル・インテリジェンス（AVI）」に関する…
★ 80 ⑂ 1 2026-05-08
マルチモーダルMOSS-Audio-8B-Thinking
MOSS-Audio-8B-Thinkingは、音声・環境音・音楽を横断的に理解できるオープンソースの音声理解モデルです。文字起こ…
❤ 78 ↓ 17.0k apache-2.0 2026-06-11
マルチモーダルLabVLA
LabVLAは、Qwen3-VL-4B-Instructビジョン言語モデルを、DiTフローマッチングアクションエキスパートと独自のπ0.5レシ…
★ 77 ⑂ 4 MIT 2026-06-22
マルチモーダルdoubao2api
このプロジェクト「doubao2api」は、Doubao（豆包）クライアントAPIをリバースエンジニアリングしたもので、AIエージ…
★ 76 ⑂ 26 Apache-2.0 2026-05-24
マルチモーダルMOSS-Audio-4B-Instruct
MOSS-Audio-4B-Instructは、音声・環境音・音楽を統合的に理解し、テキストで応答するオープンソースの音声理解モデ…
❤ 73 ↓ 66.4k apache-2.0 2026-04-14
マルチモーダルCourtSI
CourtSIは、スポーツ分野における空間知能を評価するための大規模データセットとベンチマークです。100万以上の質問…
★ 70 Apache-2.0 2026-03-15
マルチモーダルshadow
ShadowはmacOS向けの高度なパーソナルAIエンジンです。画面、音声、キー入力、クリップボードなど、コンピューター上…
★ 70 ⑂ 4 MIT 2026-03-16
マルチモーダルWeiClaw
WeChat（微信）をあらゆるAIエージェントのインターフェースとして機能させるオープンソースツールです。`npx`コマン…
★ 67 ⑂ 6 MIT 2026-03-24
マルチモーダルHY-Embodied-0.5-X
HY-Embodied-0.5-Xは、Tencent Robotics XとHY Vision Teamが共同開発した、リアルワールドエージェント向けの拡張さ…
★ 62 ⑂ 4 NOASSERTION 2026-05-14
マルチモーダルMOSS-VL-Base-0408
MOSS-VL-Base-0408は、OpenMOSS系の画像・動画理解向けマルチモーダル基盤モデルです。4段階の事前学習のみで構築さ…
❤ 61 ↓ 755 apache-2.0 2026-04-23
マルチモーダルGEditBench_v2
GEditBench v2は、汎用画像編集モデルの性能を人間が調整した基準で評価するための包括的なベンチマークです。1,200…
★ 59 ⑂ 1 2026-06-18
マルチモーダルacestep-transcriber
ACE-Step Transcriberは、ACE-Step v1.5の学習データ注釈に使われる多言語音声転写モデルです。話し声だけでなく歌声…
❤ 59 ↓ 11.2k mit 2026-02-03
マルチモーダルaudio-flamingo-next-hf
Audio Flamingo Nextは、音声・環境音・音楽をまとめて理解できるNVIDIAの大規模音声言語モデルです。音声Q&A、文字…
❤ 56 ↓ 7.8k other 2026-05-13
マルチモーダルOmniVideo-100K
「OmniVideo-100K」は、音声・視覚推論能力の向上を目指す大規模データセットと、そのための自動データ合成エンジン…
★ 55 ⑂ 2 Apache-2.0 2026-06-19
マルチモーダルGameVerse
GameVerseは、動画ベースの反射学習を通じてVision-Language Models (VLMs) がゲームプレイを学習できるかを検証する…
★ 50 MIT 2026-03-26
マルチモーダルMOSS-Audio-8B-Instruct
MOSS-Audio-8B-Instructは、音声・環境音・音楽をまとめて理解できるオープンソースの音声理解モデルです。音声認識…
❤ 47 ↓ 16.1k apache-2.0 2026-06-11
マルチモーダルneo-unify
このリポジトリは、SenseNovaの「Neo-Unify」に触発された、エンコーダフリーの統合マルチモーダルモデルの実験的な…
★ 46 ⑂ 1 2026-03-08