概要
RoseはPyTorch向けに開発された、ステートレスな最適化を実現する新しいオプティマイザです。
従来の適応型オプティマイザが使用するモーメンタムや分散推定といった履歴情報を保持せず、レンジ正規化された勾配更新によりメモリフットプリントを大幅に削減します。
これにより、大規模な深層学習モデルの訓練においてメモリ効率を高めたい研究者や開発者に最適です。
AdamWと同等以上の精度と収束性を実現しつつ、訓練損失は高く、検証損失は低いという汎化性能の向上も特徴です。
勾配集中化やCVトラストゲートなどの機能も備え、安定したモデル訓練をサポートします。
互換性・特徴
- Python
- PyTorch
- CLI
- ステートレス
- メモリ効率
基本情報
| ライセンス | Apache-2.0 |
| Stars | 75 |
| Forks | 5 |
| カテゴリ | 画像生成 |
| アクティビティ | low |