eBay EB级HDFS集群纠删码和一致性读的深度优化实践

eBay EB 级 HDFS 集群纠删码和一致性读的深度优化实践

摘要

在行业“降本增效”背景下,eBay大数据团队通过HDFS Consistent Read和Erasure Coding实现数据优化。Consistent Read提升了读写分离效率,Observer NN承担了30%流量。Erasure Coding(EC)技术减少存储冗余,节省50%数据空间。团队构建了EC自动转化方案,成功转化300PB+数据,节省150PB存储。此外,还解决了EC数据损坏和节点下线性能问题,为公司带来显著的预算节省。未来计划继续优化数据服务能力。