概要
GDB (GraphicDesignBench) は、グラフィックデザインタスクにおけるビジョン言語モデルの性能を評価するためのリアルワールドベンチマークです。
レイアウト推論、タイポグラフィ、SVG編集、テンプレートマッチング、アニメーションなど、専門的なデザイン作業を網羅する46の評価タスクを40のベンチマークパイプラインで提供します。
Licaデータセット（1,148件の実デザインレイアウト）を基盤とし、AIの理解能力と生成能力の両面を客観的に評価できます。
HuggingFaceでデータセットを利用可能であり、OpenAI、Gemini、Anthropicといった主要なLLMプロバイダーに対応しています。
AIモデルのグラフィックデザイン分野での実用的な能力測定を目指す研究者や開発者、企業を想定ユーザーとしています。
互換性・特徴
- Python
- CLI
- HuggingFace対応
- OpenAI対応
- Gemini対応
- Anthropic対応
基本情報
| ライセンス | NOASSERTION |
| Stars | 8 |
| Forks | 1 |
| カテゴリ | マルチモーダル |
| アクティビティ | low |
最新のissue
- layout-1: 15個のグラウンドトゥルースエントリは画像ではなく.mp4ファイル (NIMAはスコアリング不可) (更新: 2026-04-23 / layout-1: 15 ground-truth entries are .mp4 files, not images (NIMA can’t score))
- GroundTruthがホスト絶対アセットパスを参照する (コンテナ化/ホスト外評価を妨げる) (更新: 2026-04-17 / GroundTruth references host-absolute asset paths (breaks containerized / off-host evaluation))
- LayerAwareObjectInsertion: evaluate()でnima_scoreがネイティブに発行されない (事後再スコアリング要) (更新: 2026-04-17 / LayerAwareObjectInsertion: nima_score not emitted natively by evaluate() (requires post-hoc rescoring))
- データセットの配布をHuggingFaceネイティブに移行 (更新: 2026-04-17 / Migrate dataset distribution to HuggingFace-native)
最新リリース: v0.2.1 (2026-04-24)