货拉拉海豚平台基于LWS实现的大模型分布式部署实践

货拉拉海豚平台基于 LWS 实现的大模型分布式部署实践

摘要

海豚平台借助K8S的LeaderWorkerSet（LWS）解决了大模型分布式部署难题，支持多机协同推理。LWS通过PodGroup统一管理主从节点，实现固定IP、多模板配置及整体扩缩容，并兼容滚动更新与故障恢复。目前平台已集成Vllm等框架，未来将优化训练能力与算力利用率，持续提升AI开发效能。