multimodal-clinical-ai

概要

「Multimodal Clinical AI」は、胸部X線画像、臨床メモ、バイタルサインデータを統合的に分析し、14種類のCheXpert分類を説明可能に行うAIツールです。

ViT、BioBERT、BiLSTMを組み合わせたクロスモーダルアテンションフュージョンモデルを核とし、Grad-CAM、SHAP、アテンションロールアウトといった説明可能なAI（XAI）技術を実装しています。

直感的な操作が可能なFastAPIバックエンドとReactフロントエンドからなるウェブダッシュボードも提供されており、Dockerを使用したHugging Face Spaceへのデプロイにも対応しています。

本ツールは、医療画像診断におけるAIの活用に関心のある研究者や開発者、特に説明可能なAIによる臨床判断支援システムを構築したい方を想定しています。

Python 3.10以上とNode.js 18以上が動作環境として必要で、モデルの学習や実行にはGPU環境が推奨されます。

互換性・特徴

• Python
• Web UI
• Docker
• CLI
• GPU必須
• 医療AI

基本情報

最新リリース: v0.2.0 – Pure image-only checkpoint (2026-05-19)

GitHub: https://github.com/Aryanbhalla0038/multimodal-clinical-ai