知乎的 HDFS 多机房之路
摘要
HDFS Federation架构解决了NameNode元信息存储的问题,但单机房容量成为瓶颈。知乎采用Router Base Federation方案,并迁移了子集群到其他机房。为了避免跨机房流量,设计了HDFS多机房方案。该方案使用pipeline方式写入3个副本,但如果副本所在的DataNode节点或客户端不在同一机房,就会产生跨机房流量。副本转移工具Balancer和Mover也可能产生跨机房流量。副本恢复时,集群会在DataNode间拷贝数据以恢复丢失副本。