去哪儿KAFKA性能优化-节省2000核CPU

去哪儿 KAFKA 性能优化-节省 2000 核 CPU

摘要

去哪儿旅行的Kafka日志集群在春节压测期间遇到性能问题，导致部分客户端堆积和数据生产异常。集群网络闲置率降低到0.4以下，部分机器接近闲置，无法通过增加机器解决性能问题。经排查，发现数据量增大和高峰期pod扩展导致网络链接数增加影响性能。通过将num.io.threads参数从32修改为128，优化了Kafka本身解决了问题，并节省了2000核CPU。此外，将单盘改为双盘并没有提升闲置率。