大规模 Kafka 消费集群调度方案

大规模 Kafka 消费集群调度方案

摘要

为解决货拉拉实时对账平台在高吞吐量下的消息积压、延迟上升等问题，团队设计了一套动态可扩展的Kafka消费集群调度方案。该方案通过细化至Partition级别的负载均衡、比例化多集群消费和自动化扩缩容支持，显著提升了系统的资源利用率和稳定性，日均处理消息数亿，峰值消费速率突破20万QPS，有效保障了资金安全与业务健壮性。