cactus

概要

Cactusは、モバイルデバイスやウェアラブル向けに設計された低遅延AIエンジンです。

ARM CPU上での高速かつ高精度な推論を実現し、4ビット量子化でf16と同等の性能を発揮します。

ゼロコピーメモリマッピングにより他のエンジンより10倍低いRAM使用量を達成し、音声、画像、言語モデルに対応するマルチモーダルな機能を提供します。

必要に応じてクラウドへのフォールバックも可能です。

カスタムのPyTorchモデルをCactusランタイムにエクスポートできるため、AI開発者はエッジデバイスでのAIモデル実行を効率化できます。

CLIツールとしても提供され、C/C++でのAPIも利用可能です。