概要
DRM Transformerは、従来のTransformerモデルの限界を打破するために開発された、デコーダーオンリーのTransformerです。
このモデルは、アテンションメカニズムに学習されたリーマン多様体上の測地距離を導入し、トークンごとの重力曲率と可変次元性を特徴とします。
Geodesic Attention、MetricNet、Gravitational Token Embeddingといった革新的なアプローチにより、埋め込み空間が処理対象に応じて柔軟に変化することで、より高度な関係性を捉えることが可能になります。
Python 3.10+およびPyTorch 2.0+をサポートし、1Mから640Bまでのスケーリングに対応しているため、深層学習の研究者や、Transformerモデルの新しいアテンション機構や幾何学的構造に関心のある開発者が、大規模な言語モデルの性能向上や新たな研究のために活用できます。
互換性・特徴
- Python
- PyTorch
- GPU必須
- 大規模モデル
- 研究開発
- 幾何学的学習
基本情報
| ライセンス | NOASSERTION |
| Stars | 1 |
| カテゴリ | LLM |
| アクティビティ | low |
最新リリース: v0.3.0-baseline: Baseline Reproduzivel (2026-03-23)