In-House LLM Serving at Netflix

In-House LLM Serving at Netflix

摘要

Netflix构建了基于vLLM和Triton的LLM服务平台，统一了gRPC与OpenAI兼容API。关键决策包括：引擎选择vLLM、优化模型打包与部署策略、通过约束解码提升输出质量。生产环境揭示了版本兼容、冷启动延迟和状态管理挑战，后续将聚焦压缩、异步调度和GPU内核优化。