vivo HDFS EC 大规模落地实践

vivo HDFS EC 大规模落地实践

摘要

EC编码在HDFS中的应用显著降低了存储成本，通过RS6-3-1024k策略，存储冗余度降至50%，节省了数百PB空间。EC编码通过数据块和校验块的组合实现数据恢复，适用于低频访问的冷数据存储。尽管EC编码带来读写性能下降，但通过异步转换、校验和优化、批量校验工具等手段，确保了数据一致性和可靠性。未来，将进一步优化EC策略，提升补块速度和冷热数据分层管理。