概要
このツールは、融合CUDAカーネルと対数空間ブロック単位量子化を特徴とする8ビットAdafactorオプティマイザです。
LLMや拡散モデルのような大規模モデル向けに設計されており、オプティマイザの状態メモリを大幅に削減しつつ、低いステップオーバーヘッドと安定性を維持します。
主要機能には、不安定さを軽減する対数空間量子化、メモリ帯域幅を最適化する融合CUDAカーネル、収束を高速化するAPOLLO部分空間射影、ゼロCPU-GPU同期、クロスプラットフォームJITコンパイルなどがあります。
GPU必須でPython環境に精通した開発者、特にPyTorchを使用する大規模モデルの学習効率を高めたいユーザーを対象としています。
互換性・特徴
- GPU必須
- Python
- PyTorch
- CLI
- JITコンパイル
基本情報
| ライセンス | MIT |
| Stars | 2 |
| カテゴリ | 画像生成 |
| アクティビティ | low |
最新リリース: v0.1.8 (2026-06-13)