How Uber Scaled Data Replication to Move Petabytes Every Day

How Uber Scaled Data Replication to Move Petabytes Every Day

摘要

Uber采用HiveSync服务和Distcp工具进行大规模数据复制，但随着数据量激增，Distcp性能瓶颈显现。通过优化Distcp，将Copy Listing和Input Splitting任务移至Application Master，并行处理Copy Listing和Copy Committer任务，并引入Uber jobs减少容器启动，显著提升了数据复制效率和资源利用率。这些改进使Uber的数据处理能力提升了5倍，成功迁移了306PB数据到云端。