概要
GEditBench v2は、汎用画像編集モデルの性能を人間が調整した基準で評価するための包括的なベンチマークです。
1,200件の実世界ユーザーからのクエリと23種類の編集タスクを含み、従来のタスクに縛られないオープンセットの編集指示にも対応しています。
このプロジェクトは、独自の評価APIに依存しないオープンソースの視覚的一貫性評価モデル「PVC-Judge」を提案し、その評価モデルを検証するための3,506件のエキスパートアノテーション付き選好ペアを含む「VCReward-Bench」も提供します。
エンドツーエンドのワークフローをサポートし、データ生成、編集候補の生成、自動アノテーション、VLMジャッジのトレーニング、そしてベンチマークでの評価まで、一連のプロセスを実行可能です。
CLIツール群（`autogen`、`autopipeline`、`autotrain`）を通じて、画像編集AIの研究者や開発者が自身のモデルを客観的かつ効率的に評価できるよう設計されています。
互換性・特徴
- Python
- CLI
- GPU必須
- 画像編集
- ベンチマーク
- AI/ML
基本情報
| Stars | 53 |
| Forks | 1 |
| カテゴリ | マルチモーダル |
| アクティビティ | low |