Why We Ditched Flink Table API Joins: Cutting State by 75% with DataStream Unions

Why We Ditched Flink Table API Joins: Cutting State by 75% with DataStream Unions

摘要

Flink SQL的优雅抽象在Zalando产品数据管道中遭遇状态爆炸问题，串联JOIN导致状态量级增长至240GB，引发频繁快照崩溃。团队通过DataStream API重构，开发MultiStreamJoinProcessor统一流处理，将状态压缩至56GB，降幅75%，同时快照时间从11分钟缩短至2.5分钟。手动状态管理虽牺牲SQL便捷性，但换来系统稳定性和13%成本优化，为高吞吐场景提供了实用解法。