parakeet.cpp

概要

parakeet.cppは、NVIDIAのParakeet音声認識モデルを超高速でC++に実装し、デバイス上での推論を可能にするライブラリです。

軽量なテンソルライブラリ「axiom」とMetal GPUアクセラレーションを活用し、PythonやONNXランタイムといった重い依存関係なしに動作します。

Apple Silicon GPUではCPUの96倍高速な推論を実現し、FP16サポートによりメモリ使用量を削減します。

複数のデコーダー、単語タイムスタンプ、ビームサーチ、ストリーミング、話者分離、マルチフォーマットオーディオ対応など、豊富な機能を備えています。

C APIも提供されており、Python、Swift、Go、Rustなどの言語からも利用可能です。

組み込みデバイスや低リソース環境での高速な音声認識を実現したい開発者や、既存のC++アプリケーションに高性能な音声認識機能を統合したいユーザーに適しています。