概要
oRKLLMは、Rockchip NPU (RK3576/RK3588) 搭載のシングルボードコンピュータなどでローカルAIを実行したいユーザー向けの、OpenAI API互換のLLM推論サーバーです。
低コストなデバイス上でエネルギー効率の高いNPU推論を実現し、クラウドに依存しないAI環境を提供します。
ダッシュボード、モデル管理、リアルタイムログ、ベンチマーク、チャットUIなどの豊富な機能を備えた管理コンソールをVue 3とVuetify 3で提供。
HuggingFaceとの統合や、マルチユーザー認証・ロールベースアクセス制御（RBAC）もサポートし、OpenAI互換クライアントとの連携も容易です。
互換性・特徴
- OpenAI互換
- LLM推論
- Rockchip NPU
- Web UI
- HuggingFace統合
- ローカルAI
基本情報
| ライセンス | ISC |
| Stars | 2 |
| カテゴリ | LLM |
| アクティビティ | low |
最新リリース: v0.6.0 (2026-05-30)