マルチモーダル (298 repos)

K-MetBenchは、気象学における専門家の推論、地域性、マルチモダリティを詳細に評価するための多次元ベンチマークで…

AI Time Machineは、テキスト、画像、音声、Webリンクなど多種多様な個人的な記憶をキャプチャし、マルチモーダルAI…

fal (fal-ai) は、画像、動画、音声、マルチモーダルな生成AIモデルを超高速で実行できるAPIを提供する生成メディア…

tokensieveは、VLM（Vision-Language Model）を用いたVQA（Visual Question Answering）タスクにおいて、推論時の「p…

このリポジトリは、ウェアラブルデバイス、スマートフォン、気候データから得られる自己教師ありマルチモーダル情報…

loop-antigravityは、Google Antigravity (agy CLI) とGeminiの1Mトークンコンテキストおよびマルチモーダル推論能力…

UI-TARS MCPは、AIエージェントがデスクトップとウェブブラウザを操作するための「目と手」を提供するサーバーツール…

この「Wally-like Storytelling Scene Interactor」は、テキストを基に画像を生成し、その画像内の特定の領域をマス…

このツールは、Steamゲーム「これは諧音梗(BadPunPC)」をAnthropicのClaude Sonnet 4.6を使って全自動で攻略するAIソ…

このリポジトリは、PyTorchを使ってマルチモーダル大規模言語モデル（VLM）をゼロから構築するための詳細なステップ…

「vision-bridge-skill」は、多モーダル対応ではないAIモデルに対し、画像、PDF、スクリーンショット、図表などの視…

blind-vision-mcpは、テキストベースのLLM（大規模言語モデル）に「視覚」を与えるMCPサーバーです。GPT-4 VisionやC…

このツールは、AIにPC画面の「目」を与えるPython製アプリケーションです。ローカルで動作し、スクリーンショット、…

「SEOSIRI ENOSES CORE ARCHITECT」は、物理的な音響波と光学データをリアルタイムのロボットコマンドに変換するマル…

wardrobeAssistantは、ローカルファーストのAI搭載パーソナルワードローブ管理ツールです。自動的な衣類セグメンテー…

このツールは、レシートの画像から支出データを自動的に抽出し、その内容について自然言語で質問できる領収書解析AI…

whatfirst · smallは、タスクの優先順位付けを支援する、ローカルで動作する小型のビジョン言語モデル（Qwen2.5-VL-3…

AIを活用して電話でのモバイルタスクを自動化するスマートアシスタントフレームワークです。AutoGLMを基盤とし、直感…

Vision Bridgeは、DeepSeek V4 PROやGPT-4o-textのような純粋なテキストベースのLLMに「視覚能力」を付与するツール…

このツールは、中国のソーシャルメディア「小紅書」の図文ノート（画像とテキスト投稿）を、タイトル、本文、全画像…

ControlMindは、MinerUを活用した科学文書インテリジェンスシステムです。生PDFから直接情報を抽出し、科学論文の理…

このプロジェクトは、CLIP-ViTとQwen2.5をゼロから組み立てて開発されたミニLLaVAモデルの構築過程を記録したポート…

Aibys2は、インドネシアに根ざしたAIエコシステム向けの、スクラッチから大規模言語モデル（LLM）を構築・学習するた…

「Qwen visual training lab」は、Windows環境でAMD GPUとDirectMLを利用し、QwenスタイルのビジュアルLoRA実験の実…