マルチモーダル (296 repos)

CPPO（Contrastive Perception Policy Optimization）は、視覚言語モデル（VLM）エージェントのファインチューニング…

SynCLIPは、セマンティクス的に同等な表現でも空間的注意が異なるという、オープンボキャブラリー高密度知覚（OVDP）…

CaptionEvalKit-for-VLMsは、VLM（Visual Language Model）向け画像キャプション評価を再現性高く、オールインワンで…

「論文ビューア with Local LLM」は、研究会や学会で発表内容を素早く理解し、質疑応答の準備を支援するWebアプリで…

GDB (GraphicDesignBench) は、グラフィックデザインタスクにおけるビジョン言語モデルの性能を評価するためのリアル…

このプロジェクト「modalformer-lowlight」は、低照度環境で撮影された画像のノイズ、色の歪み、細部喪失を改善する…

AlignedNormは、Vision-Language Models (VLMs) のプロンプト学習において、既存手法の局所最適化と汎化性能の限界を…

CodeBindは、大規模言語モデルやロボット工学におけるマルチモーダル表現アライメントの課題を解決するために開発さ…

W-GRAM-LMは、世界誘導型再帰的アトラクタ言語モデルの研究用コードベースです。潜在世界予測、多軌道推論、解答アト…

opencode-visionは、マルチモーダルに対応していないOpenCodeモデルに画像認識機能を追加するツールです。ユーザーが…

Multimodal-Edge-Nodeは、実験的なノードベースの視覚的推論とマルチモーダル推論キャンバスです。ユーザーはカスタ…

M-LongDocは、EMNLP 2025で採択されたマルチモーダル超長文ドキュメント理解のための挑戦的なベンチマークと、検索対…

Operatorは、PCに接続することなく、視覚言語モデル（VLM）を使用してAndroidスマートフォンを直接操作できるオンデ…

このツールは、自然言語の指示に基づいてIoTデバイスが自律的に視覚監視を行うシステムです。AIエージェントがユーザ…

JoyCapture-UR5は、Xboxコントローラーを使用してUR5ロボットを遠隔操作し、多モーダルなデモンストレーションデータ…

LiteRTLM Swift SDKは、GoogleのLiteRT-LM（オンデバイス推論エンジン）の非公式Swift SDKです。このツールはGemma 4…

LLM Routerは、OpenAI互換のAI Gatewayとして機能し、クライアントと既存のAI中継サービス間に配置されます。ユーザ…

SkinAidは、皮膚疾患の分析を支援する高度なクロスモーダルAIフレームワークです。ユーザーは皮膚の画像と年齢、性別…

tendernessは、テキストと画像から合成かつ決定的なドキュメントを高速でレンダリングするためのPythonライブラリで…

オープンQwenは、Qwen 3.5モデルを基にした、PyTorchを利用した非公式のAIテキスト生成アプリケーションです。プログ…

Roboclawsは、VLMポリシー、OpenClaw、AIコーディングエージェントによって駆動されるAIロボティクスデモのためのリ…

VidGroundは、動画理解ベンチマークや機械学習の後学習データセットに内在する「動画を見なくても回答できる」テキス…

SmolVLM2-2.2Bを搭載したエッジ展開可能なビジョンエージェントで、CPUのみのハードウェア（16GB RAM）で動作します…

PaintBenchは、生成AIモデルの画像編集能力を決定論的に評価するためのベンチマークツールです。MSペイントのような…