Spark on K8s 在vivo大数据平台的混部实战

Spark on K8s 在 vivo 大数据平台的混部实战

摘要

vivo通过Spark Operator方案实现了离线Spark任务在混部集群的容器化改造，优化了K8s资源调度与任务提交流程。借助弹性调度系统动态管理资源水位线，合理分配任务至多集群，显著提升CPU利用率，高峰期达30%。未来还将扩大任务类型覆盖并优化调度策略，进一步提升混部收益与资源填充效率。