概要
このリポジトリは、ICML 2025に提出された論文「Core Knowledge Deficits in Multi-Modal Language Models」の公式ウェブサイトです。
発達認知科学に基づいた12の基礎的な認知概念を評価する「CoreCognition」ベンチマークを用いて、230のマルチモーダル言語モデル（MLLM）を包括的に評価し、その4つの主要な欠陥（コア知識の欠陥、依存関係の不整合、予測可能性、スケーリングの限界）を明らかにします。
MLLMの研究者や、これらのモデルの評価に関心のあるユーザーが、VLMEvalKitやlmms-evalを通じてモデルのコア知識理解度を詳細に分析し、改善するための洞察を得ることが目的です。
データセットはHugging Faceで利用可能です。
互換性・特徴
- 研究成果
- MLLM評価
- ベンチマーク
- Webサイト
- Jekyll
- Hugging Faceデータセット
基本情報
| Stars | 3 |
| カテゴリ | LLM |
| アクティビティ | low |
GitHub: https://github.com/grow-ai-like-a-child/core-knowledge