概要
HiveLinkは、Mac、Windows、Linux、NVIDIA、AMD、Apple Siliconといった多様なデバイスを統合し、大規模な言語モデル（LLM）推論を可能にするクロスプラットフォーム分散システムです。
手持ちの異種ハードウェアを有効活用し、各デバイスのVRAMと計算能力に応じてモデルのレイヤーを自動分割（パイプライン並列処理）することで、単一のデバイスでは実行困難なモデルも動作させることができます。
llama.cppをバックエンドに採用し、GGUFモデルファイルを使用するため、OSやGPUを問わず高い互換性を持ちます。
直感的なCLI操作に加え、ノード状況やレイヤー分散を可視化するWebダッシュボード、既存ツールとの連携を容易にするOpenAI互換APIも提供します。
単一環境の制約を超えて大規模LLMをローカルで動かしたい研究者や開発者に最適です。
互換性・特徴
- クロスプラットフォーム
- 分散処理
- Python
- CLI
- Web UI
- OpenAI互換API
- GGUF対応
基本情報
| ライセンス | MIT |
| Stars | 1 |
| カテゴリ | LLM |
| アクティビティ | low |