去哪儿 KAFKA 再度优化-提升服务上限35%

去哪儿 KAFKA 再度优化-提升服务上限 35%

摘要

文章探讨了在节日流量高峰时，KAFKA集群面临的性能瓶颈，特别是生产压缩率低导致的服务端压力增大问题。通过优化Filebeat的批次发送参数和内存队列配置，提升了压缩率，减少了服务端的请求量和流量消耗。优化后，集群的CPU使用率、网络流量和磁盘存储均显著降低，KAFKA的处理能力提升了35%，有效保障了业务的稳定性和数据的完整性。