TiDB x Flink 数据集成实践

TiDB x Flink 数据集成实践

摘要

知乎使用了开源分布式关系型数据库TiDB，用于替代MySQL解决扩展能力问题。为了解决数据分片导致的数据版本不一致和分区字段连续性问题，在数据集成平台中，知乎基于Flink构建了实时和离线的数据同步及清洗功能。这样，用户可以将不同数据源的数据导入到相同的数据源中进行进一步分析处理。然而，使用flink-jdbc-connector时仍存在数据分区设置不智能和唯一键约束字段不连续的问题。