serve

概要

Jina-Serveは、gRPC、HTTP、WebSocketsを介して通信するAIサービスを構築・デプロイするためのフレームワークです。

ローカル開発から本番環境まで、AIサービスをスケーラブルに提供できます。

主要な機械学習フレームワークやデータ型をネイティブにサポートし、スケーリング、ストリーミング、動的バッチ処理による高性能なサービス設計が特徴です。

LLM（大規模言語モデル）のストリーミング出力にも対応しています。

Docker統合、Executor Hub、Jina AI Cloudへのワンクリックデプロイ、KubernetesやDocker Composeのサポートなど、エンタープライズレベルでの利用も想定されています。

AIサービスを効率的に開発・運用したいエンジニアや企業が主な想定ユーザーです。