概要
Cactusは、モバイルデバイスやウェアラブル向けに設計された低遅延AIエンジンです。
ARM CPU上での高速かつ高精度な推論を実現し、4ビット量子化でf16と同等の性能を発揮します。
ゼロコピーメモリマッピングにより他のエンジンより10倍低いRAM使用量を達成し、音声、画像、言語モデルに対応するマルチモーダルな機能を提供します。
必要に応じてクラウドへのフォールバックも可能です。
カスタムのPyTorchモデルをCactusランタイムにエクスポートできるため、AI開発者はエッジデバイスでのAIモデル実行を効率化できます。
CLIツールとしても提供され、C/C++でのAPIも利用可能です。
互換性・特徴
- CLI
- C/C++
- モバイル対応
- エッジAI
- PyTorch互換
- AIエンジン
基本情報
| ライセンス | NOASSERTION |
| Stars | 5,366 |
| Forks | 432 |
| カテゴリ | ASR / 音声認識 |
| アクティビティ | high |
最新リリース: v1.14 (2026-04-18)