本文主要总结当kafka集群流量达到 万亿级记录/天或者十万亿级记录/天 甚至更高后，我们需要具备哪些能力才能保障集群高可用、高可靠、高性能、高吞吐、安全的运行。

我的上家公司是做餐饮系统的，每天中午和晚上用餐高峰期，系统的并发量不容小觑。为了保险起见，公司规定各部门都要在吃饭的时间轮流值班，防止出现线上问题时能够及时处理。

我当时在后厨显示系统团队，该系统属于订单的下游业务。用户点完菜下单后，订单系统会通过发kafka消息给我们系统，系统读取消息后，做业务逻辑处理，持久化订单和菜品数据，然后展示到划菜客户端。这样厨师就知道哪个订单要做哪些菜，有些菜做好了，就可以通过该系统出菜。系统自动通知服务员上菜，如果服务员上完菜，修改菜品上菜状态，用户就知道哪些菜已经上了，哪些还没有上。这个系统可以大大提高后厨到用户的效率。

接下来，我跟大家一起聊聊使用kafka两年时间踩过哪些坑。

LogI-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验，是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于Kafka运维管控、监控告警、资源治理等核心场景，经历过大规模集群、海量大数据的考验。内部满意度高达90%的同时，还与多家知名企业达成商业化合作。

美团Kafka系统每天处理消息总量达8万亿，PageCache竞争是当前最大痛点，针对该问题我们设计了一套新型的架构，本文详细介绍了该方案的设计与实现。

本文主要介绍了kafka的一些基本概念，围绕kafka的基础架构，对生产者、消费者以及kafka的工作流程，文件存储机制、分区分配策略等进行了简要的介绍。

Uber has one of the largest deployments of Apache Kafka in the world, processing trillions of messages and multiple petabytes of data per day. As Figure 1 shows, today we position Apache Kafka as a cornerstone to Uber’s technology stack and build a complex ecosystem on top of it to empower a large number of different workflows.

kafka 中的可靠性设计介绍。

Read this deep dive on our Kubernetes infrastructure setup for Grab's stream processing framework.

时间轮是一个应用场景很广的组件，在很多高性能中间件中都有它的身影，如Netty、Quartz、Akka，当然也包括Kafka，本文主要介绍时间轮在kafka的应用和实战，从核心源码和设计的角度对时间轮进行深入的讲解。

图解：Kafka 水印备份机制

分布式事务之事务消息，到底如何实现呢？

本文主要描述Linux Page Cache优化的背景、Page Cache的基本概念、列举过去针对kafka的IO性能瓶颈采取的一些解决方案、如何进行Page Cache相关参数调整以及性能优化前后效果对比。

为什么不用Timer、DelayQueue 和 ScheduledThreadPool

两者底层存储到底是如何实现的？有哪些优化？消息存磁盘为什么还这么快？各自有什么优缺点？今儿来一探究竟！

Kafka 作为一个支持实时处理大量请求的分布式流处理平台，需要一个设计良好的定时器来处理异步任务。本文作者将基于 Kafka 1.1.0 版本的源码来介绍 Kafka 中定时器的基础数据结构——时间轮的原理和实现。

近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。