知乎的 HDFS 多机房之路

知乎的 HDFS 多机房之路

摘要

HDFS Federation架构解决了NameNode元信息存储的问题，但单机房容量成为瓶颈。知乎采用Router Base Federation方案，并迁移了子集群到其他机房。为了避免跨机房流量，设计了HDFS多机房方案。该方案使用pipeline方式写入3个副本，但如果副本所在的DataNode节点或客户端不在同一机房，就会产生跨机房流量。副本转移工具Balancer和Mover也可能产生跨机房流量。副本恢复时，集群会在DataNode间拷贝数据以恢复丢失副本。