概要
lmms-evalは、テキスト、画像、ビデオ、オーディオといった様々なモダリティを横断する、オールインワンのマルチモーダルモデル評価ツールキットです。
フロンティアモデルの統一された評価と、現実世界におけるモデルの能力を詳細に調査することに主眼を置いています。
本ツールの主要な特徴は、評価結果の「再現性」、大規模な評価においてもボトルネックとならない「効率性」（GPU活用、非同期処理）、そして単なる精度に留まらない「信頼性」（信頼区間や評価方法論の研究）です。
モデル開発者や研究者が、マルチモーダルモデルの性能を正確かつ信頼性の高い方法で評価し、次の開発の方向性を決定するために設計されています。
互換性・特徴
- Python
- CLI
- GPU必須
- マルチモーダル
- 日本語対応
基本情報
| ライセンス | NOASSERTION |
| Stars | 4,234 |
| Forks | 604 |
| カテゴリ | マルチモーダル |
| アクティビティ | high |
最新リリース: v0.7.1 (2026-03-15)