HDFS EC 在知乎的应用

HDFS EC 在知乎的应用

摘要

HDFS引入纠删码技术以降低冗余数据成本。纠删码文件可在部分损坏时解码出可靠数据。HDFS的EC编码分为XOR和RS两类，节省存储的比例不同。但EC也存在性能问题，读写性能较3副本差，且EC文件不支持修改操作。根据数据的冷热程度进行EC策略选择，倾向于对较冷的数据进行EC，以减少频繁读取/刷数对集群的影响。冷热文件分级由文件的产出时间、访问时间和访问频次共同决定。产出时间较近且频繁访问的文件标记为热文件，反之标记为冷文件。