概要
SmallMindは、C#のみで構築されたプロダクション対応のローカル言語モデル推論エンジンです。
外部MLフレームワークやPythonに依存せず、CPU上でのみ動作し、GPT-2やLLaMAなどのデコーダーオンリー型トランスフォーマーモデルに対応します。
500以上のテスト、マルチプラットフォームCI、セキュリティスキャンにより、高品質と安定性を保証。
Q4/Q6/Q8量子化やKVキャッシングによるメモリ効率の高さ、Windows/Linux/macOSでのSIMDアクセラレーションによる高速性も特徴です。
.NET 10.0以降が動作する環境であればどこでも実行可能で、PythonやDocker、複雑なビルドチェーンを避けたい開発者や、テスト・デバッグ・教育目的で決定論的な推論結果を求めるユーザーに最適です。
互換性・特徴
- C#
- .NET
- CPU必須
- クロスプラットフォーム
- LLM
- CLI
基本情報
| ライセンス | MIT |
| Stars | 2 |
| カテゴリ | LLM |
| アクティビティ | low |