マルチモーダル (159 repos)

GoodQ4Allは、ローカルファーストのマルチモーダル記憶システムで、長期間のビデオ、オーディオ、テキストからの情報…

Crucibleは、ロボットのデモンストレーションデータを評価・キュレーションするための多軸VLM（Vision-Language Mode…

本プロジェクトは、NVIDIA DGX Spark上でQwen3.5 (0.8B～27B) モデルのLoRAおよびFull Fine-Tuningを劇的に高速化す…

Viz2Speechは、インドネシアの視覚障害者のアクセシビリティを向上させるために開発された、画像から音声への変換エ…

K-MetBenchは、気象学分野におけるAIモデルの専門家推論、局所性、およびマルチモダリティを詳細に評価するための多…

Swift LMは、AppleのMLX Swiftを基盤とした大規模言語モデル（LLM）とビジョン言語モデル（VLM）の推論エンジンであ…

browsergroundは、ハイブリッドAIエージェント向けのローカルUIグラウンディングツールです。スクリーンショットとテ…

このソフトウェアは、高性能なQwen3.6-27B AIモデルをWindows上でローカル実行するためのツールです。最適化されたハ…

UI-TARS MCPは、AIエージェントがデスクトップとウェブブラウザを操作するための「目と手」を提供するサーバーツール…

このツールは、Steamゲーム「これは諧音梗(BadPunPC)」をAnthropicのClaude Sonnet 4.6を使って全自動で攻略するAIソ…

このツールは、GTZANデータセットを用いた音楽ジャンル分類のためのマルチモーダルCNNモデルを提供します。メルスペ…

NaVILA → K1は、視覚言語モデル（VLM）であるNaVILAを活用し、Booster K1ヒューマノイドロボットを自然言語のナビゲ…

ControlMindは、MinerUを活用した科学文書インテリジェンスシステムです。生PDFから直接情報を抽出し、科学論文の理…

このプロジェクトは、CLIP-ViTとQwen2.5をゼロから組み立てて開発されたミニLLaVAモデルの構築過程を記録したポート…

「SEOSIRI ENOSES CORE ARCHITECT」は、物理的な音響波と光学データをリアルタイムのロボットコマンドに変換するマル…

ControlFoleyは、動画から音声への生成を統合的かつ制御可能に行うフレームワークです。動画、テキスト、参照音声を…

このツールは、中国のソーシャルメディア「小紅書」の図文ノート（画像とテキスト投稿）を、タイトル、本文、全画像…

molmowebは、自然言語で指示することでウェブブラウザを操作し、様々なタスクを自動で実行するデスクトップアプリケ…

doubao2apiは、中国のDoubao（豆包）APIをリバースエンジニアリングし、OpenAI互換のRESTサービスとして提供するツー…

このリポジトリは、週末プロジェクトとしてゼロから構築されたVision-Language Model (VLM) の実装と、そのマルチGPU…

「Multimodal Clinical AI」は、胸部X線画像、臨床メモ、バイタルサインデータを統合的に分析し、14種類のCheXpert分…

「corpus-mill」は、ローカルGPUのみで動作するマルチモーダル動画アノテーションパイプラインです。長尺動画（人物…

PROSOPOは、公平性とバイアス軽減に重点を置いた包括的な顔認識パイプラインです。最先端の顔検出・認識モデルと高度…

Mini-LLaVA v4は、8GBのノートPC GPUで動作するように最適化された、CLIP-ViTとQwen2.5-1.5Bを組み合わせたマルチモ…