マルチモーダル (159 repos)

browsergroundは、ハイブリッドAIエージェント向けのローカルUIグラウンディングツールです。スクリーンショットとテ…

ControlFoleyは、動画から音声への生成を統合的かつ制御可能に行うフレームワークです。動画、テキスト、参照音声を…

このリポジトリは、週末プロジェクトとしてゼロから構築されたVision-Language Model (VLM) の実装と、そのマルチGPU…

「SEOSIRI ENOSES CORE ARCHITECT」は、物理的な音響波と光学データをリアルタイムのロボットコマンドに変換するマル…

OBSIDIAN Neuralは、音楽制作者向けのリアルタイムAI音楽生成サーバーで、OBSIDIAN Neural VSTプラグインと連携しま…

このツールは、中国のソーシャルメディア「小紅書」の図文ノート（画像とテキスト投稿）を、タイトル、本文、全画像…

ControlMindは、MinerUを活用した科学文書インテリジェンスシステムです。生PDFから直接情報を抽出し、科学論文の理…

このプロジェクトは、テキストから画像、音楽/音声、音声、さらに画像やテキストから3Dモデルを生成できるローカルAI…

「corpus-mill」は、ローカルGPUのみで動作するマルチモーダル動画アノテーションパイプラインです。長尺動画（人物…

molmowebは、自然言語で指示することでウェブブラウザを操作し、様々なタスクを自動で実行するデスクトップアプリケ…

このプロジェクトは、PyTorchでContrastive Language-Image Pre-training (CLIP) をゼロから実装したものです。「同…

「Multimodal Clinical AI」は、胸部X線画像、臨床メモ、バイタルサインデータを統合的に分析し、14種類のCheXpert分…