概要
BiomedCLIP-PubMedBERT_256-vit_base_patch16_224は、PubMed Central由来の1500万件の医用画像とキャプション対で事前学習された、生物医学向けの画像と言語の基盤モデルです。
PubMedBERTとVision Transformerを組み合わせ、ゼロショット画像分類、画像検索、クロスモーダル検索、視覚質問応答などに対応します。
医療AIやバイオ系研究で、病理画像・X線・MRIなど専門画像をテキストと結び付けて扱いたい研究者や開発者向けで、open_clip経由でHugging Faceまたはローカルファイルから利用できます。
互換性・特徴
- Python
- CLI
- GPU推奨
- Hugging Face
- open_clip
- 医用画像対応
基本情報
| ライセンス | mit |
| Likes | 403 |
| Downloads | 883,349 |
| Pipeline | zero-shot-image-classification |
| カテゴリ | マルチモーダル |
| アクティビティ | mid |
HuggingFace: https://huggingface.co/microsoft/BiomedCLIP-PubMedBERT_256-vit_base_patch16_224