大数据平台的数据同步服务实践

大数据平台的数据同步服务实践

摘要

知乎在大数据系统中建立了数据同步平台，选择了Sqoop作为数据同步工具。Sqoop具有并行计算能力、与Hive兼容，但数据源支持较少。DataX支持丰富的数据源和限速，但需额外的资源。考虑到资源利用和Hive适配，选择了Sqoop。平台化目标是构建通用的数据同步平台，简化任务接入、监控和报警、屏蔽MySQL DDL影响、可扩展新数据源。整体架构包括API Server、数据源中心、Scheduler和Worker。平台不要求用户理解底层原理。