multimodal-clinical-ai

概要

このマルチモーダル臨床AIプロジェクトは、胸部X線画像と臨床ノートを統合し、ViT、BioBERT、時系列エンコーダ、クロスモーダルアテンション融合技術を駆使して、14種類のCheXpert胸部X線診断を行います。

診断結果には、Grad-CAM、SHAP、アテンションロールアウトといった説明可能なAI（XAI）手法が提供され、透明性と理解を深めます。

FastAPIバックエンドとReactフロントエンドで構成されるウェブダッシュボードを介して、ユーザーはX線画像をアップロードし、分析を実行できます。

PythonとNode.js環境で動作し、セットアップと実行が簡単なスクリプトで提供されます。

医療AIの研究者や開発者、胸部X線診断を補助するツールを求める医療従事者を想定しており、Hugging FaceへのデプロイやKaggleでのGPUトレーニングもサポートされています。

互換性・特徴

• Python
• Web UI
• GPU必須
• Docker
• XAI
• 医療AI

基本情報

最新リリース: v0.2.0 – Pure image-only checkpoint (2026-05-19)

GitHub: https://github.com/Aryanbhalla0038/multimodal-clinical-ai