抖音集团基于Flink的亿级RPS实时计算优化实践

抖音集团基于 Flink 的亿级 RPS 实时计算优化实践

摘要

抖音实时数据处理面临链路稳定性差、资源消耗大、任务恢复慢等挑战。通过分层建模优化、作业性能优化和链路保障优化，提升任务稳定性。大流量维表关联采用Flink Broadcast join，减少外部访问压力。直播场景通过自定义RocksDB CompactionFilter实现状态优化，支持30天累计指标。未来将进行通用和个性化场景优化，提升整体性能和资源利用率。