知乎 HADOOP Yarn Federation 跨云多机房调度实践

知乎 HADOOP Yarn Federation 跨云多机房调度实践

摘要

知乎进行了关于HADOOP YARN跨云多机房集群架构部署的调研工作，发现单集群打标签方式无法解决ResourceManager负载过高的问题，对多机房多集群和YARN Federation提出了选择。YARN Federation是未来的方向，可以配合HIVE/SPARK进行管理，配置信息一致，运维成本低。而YARN多机房多集群方案操作简单，开发工作少，但需要客户端修改配置，维护成本高。综合考虑，YARN Federation是更可行的选择。