概要
このリポジトリは、DGX Sparkという特定のハードウェア環境で動作する、小規模な言語モデルや量子化モデルのベンチマーク結果を公開しています。
複数のベンチマーク項目（bfcl、bigcodebench、IfEvalCode、The Agent Co）における各モデルのパフォーマンスを「Overall」スコアとして集計し、リーダーボード形式で分かりやすく提示しています。
特に、FP8やNVFP4といった異なる量子化形式でのモデル性能比較が含まれており、モデルの選択や最適化を検討している開発者、研究者、AIエンジニアを想定ユーザーとしています。
互換性・特徴
- GPU必須
- ベンチマーク
- 言語モデル
- 量子化モデル
- AI/機械学習
- Python
基本情報
| Stars | 33 |
| Forks | 1 |
| カテゴリ | LLM |
| アクティビティ | low |