マルチモーダル (158 repos)

UI-TARS MCPは、AIエージェントがデスクトップとウェブブラウザを操作するための「目と手」を提供するサーバーツール…

このツールは、Steamゲーム「これは諧音梗(BadPunPC)」をAnthropicのClaude Sonnet 4.6を使って全自動で攻略するAIソ…

このツールは、GTZANデータセットを用いた音楽ジャンル分類のためのマルチモーダルCNNモデルを提供します。メルスペ…

NaVILA → K1は、視覚言語モデル（VLM）であるNaVILAを活用し、Booster K1ヒューマノイドロボットを自然言語のナビゲ…

ControlMindは、MinerUを活用した科学文書インテリジェンスシステムです。生PDFから直接情報を抽出し、科学論文の理…

このプロジェクトは、CLIP-ViTとQwen2.5をゼロから組み立てて開発されたミニLLaVAモデルの構築過程を記録したポート…

「SEOSIRI ENOSES CORE ARCHITECT」は、物理的な音響波と光学データをリアルタイムのロボットコマンドに変換するマル…

ControlFoleyは、動画から音声への生成を統合的かつ制御可能に行うフレームワークです。動画、テキスト、参照音声を…

このツールは、中国のソーシャルメディア「小紅書」の図文ノート（画像とテキスト投稿）を、タイトル、本文、全画像…

molmowebは、自然言語で指示することでウェブブラウザを操作し、様々なタスクを自動で実行するデスクトップアプリケ…

doubao2apiは、中国のDoubao（豆包）APIをリバースエンジニアリングし、OpenAI互換のRESTサービスとして提供するツー…

このリポジトリは、週末プロジェクトとしてゼロから構築されたVision-Language Model (VLM) の実装と、そのマルチGPU…

「Multimodal Clinical AI」は、胸部X線画像、臨床メモ、バイタルサインデータを統合的に分析し、14種類のCheXpert分…

「corpus-mill」は、ローカルGPUのみで動作するマルチモーダル動画アノテーションパイプラインです。長尺動画（人物…

PROSOPOは、公平性とバイアス軽減に重点を置いた包括的な顔認識パイプラインです。最先端の顔検出・認識モデルと高度…

Mini-LLaVA v4は、8GBのノートPC GPUで動作するように最適化された、CLIP-ViTとQwen2.5-1.5Bを組み合わせたマルチモ…

OBSIDIAN Neuralは、音楽制作者向けのリアルタイムAI音楽生成サーバーで、OBSIDIAN Neural VSTプラグインと連携しま…

Miru（見る）は、画像やドキュメントに対する質問に対し、モデルがどのように「見ている」かを視覚的に追跡するマル…