类库
› LitServe
Lightning-AI/LitServe
LitServe 是一个轻量级 Python 框架，用于构建自定义 AI 推理服务器。用户可完全控制模型、Agent、RAG 等推理逻辑，支持批处理、流式传输、多GPU自动扩展，无需复杂的 MLOps 配置，便于本地部署或托管。
截图
LitServe 是一个轻量级 Python 框架，用于构建自定义 AI 推理服务器。用户可完全控制模型、Agent、RAG 等推理逻辑，支持批处理、流式传输、多GPU自动扩展，无需复杂的 MLOps 配置，便于本地部署或托管。
