概要
SpatialBenchは、マルチモーダル大規模言語モデル（MLLM）のビデオ空間理解能力を評価するオープンソースベンチマークです。
決定論的かつ密度考慮型の評価を提供し、深度、カメラポーズ、軌跡、点群再構成など6つの再構成パラダイム、19のデータセット、540以上のシーンを網羅しています。
各シーンはRGBやメトリック深度などに正規化され、テストフレームは固定されるため、公平な比較が可能です。
統一されたYAML設定とモデルアダプターにより、新しいモデルを容易に統合できます。
主に空間基盤モデルの研究者や開発者が、モデルの包括的な性能評価を行うことを想定しています。
互換性・特徴
- Python
- CLI
- GPU必須
- Hugging Face
- AI/MLベンチマーク
- OpenAI互換API
基本情報
| Stars | 51 |
| カテゴリ | 3D / NeRF |
| アクティビティ | low |