概要
Transformer Roofline Analyzerは、Hugging FaceのTransformerモデル設定ファイルから、計算量(FLOPs)、メモリ帯域幅、演算強度を推定するコマンドラインツールです。
このツールは、各レイヤーおよびモデル全体の性能要件を詳細に分析し、ハードウェアリソースの需要とパフォーマンスのトレードオフを評価するのに役立ちます。
特に、Transformerモデルの推論における効率を最適化したい開発者や研究者にとって有用で、バッチ処理やKVキャッシュの推定にも対応し、性能ルーフラインモデリングに貢献します。
互換性・特徴
- CLI
- Python
- Hugging Face
- Transformer
- 性能解析
- ハードウェア分析
基本情報
| ライセンス | MIT |
| Stars | 1 |
| カテゴリ | LLM |
| アクティビティ | low |
GitHub: https://github.com/Jench2103/transformer-roofline-analyzer
