当K8s遇见Ray：大模型时代AI Workload调度的通用范式

当 K8s 遇见 Ray：大模型时代 AI Workload 调度的通用范式

摘要

大模型时代，AI Workload调度面临异构资源、动态分配、高容错等挑战。Ray以进程级调度和Single-Controller范式，灵活编排复杂任务流。K8s负责物理资源管理，Ray在其上做应用层调度，两者协同构建了K8s+Ray+PyTorch+vLLM的黄金组合，成为AI基础设施的通用范式。