bebelm

概要

BebeLMは、LiquidAIのLFM2.5-8B-A1Bという大規模言語モデルを、CPUのみで動作する純粋なRust言語で実装したプロジェクトです。

10億のアクティブパラメータしか持たないため、GPUなしでも対話型（インタラクティブ）な速度で動作するのが最大の特徴です。

依存関係が非常に少なく、追加のシステムパッケージも不要なため、ビルドと実行が容易です。

Rustプロジェクトに組み込むライブラリとしても、基本的なコマンドラインインターフェース（CLI）としても利用可能です。

約6〜8GBのRAMで動作し、M5、Ryzen、ThreadripperなどのCPUでテストされています。

Rust開発者や、限られたリソース環境でLLMを動かしたいユーザーに最適です。