知乎k8s在离线混部-离线篇

知乎 k8s 在离线混部-离线篇

摘要

知乎为解决离线集群资源不足问题，采用Hadoop YARN服务在在线环境下部署，并使用YARN Federation架构来管理集群的搬迁和任务迁移。这样可以提高在线集群资源利用率，降低离线集群的超负荷运转。在离线混部过程中，需要解决技术选型、数据完整性、在线集群稳定性、任务平滑过渡和配置管理等关键问题。知乎在2022年选择了YARN Federation架构，以满足业务对接简单、集群变更对业务无感知、架构可复用等需求。详细架构图请参考官网链接：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/Federation.html。