概要
CaptionEvalKit-for-VLMsは、VLM（Visual Language Model）向け画像キャプション評価を再現性高く、オールインワンで提供するツールキットです。
キャプションメトリクスの開発者向けには、Kendall’s tauの再現を容易にし、メトリクス評価と結果の再現を単一コマンドで可能にします。
VLM開発者向けには、個々のメトリクスごとに異なる依存環境を準備する手間を省き、確立された包括的なキャプションメトリクスセットを使用してVLM生成キャプションを評価できます。
LLMフリー、LLM-as-a-Judge、および従来のキャプションメトリクス（BLEU, ROUGE-L, METEOR, CIDEr, SPICE, JaSPICEなど）をサポートし、多様なベンチマークに対応しています。
互換性・特徴
- Python
- CLI
- GPU必須
- Docker
- メトリクス評価
- VLM評価
基本情報
| ライセンス | BSD-3-Clause-Clear |
| Stars | 2 |
| カテゴリ | マルチモーダル |
| アクティビティ | low |
GitHub: https://github.com/YuigaWada/CaptionEvalKit-for-VLMs