作者 | Jesper Hammarbäck 编辑 | 无明 首先，我先说 Apache Kafka 是一款很酷的产品，但如果你想用它来实现事件溯源，请先慎重考虑一下。Kafka 是一个在生产者和消费者之间传递消息的绝

PerfMa作为一家新型的技术驱动型公司，技术是我们的命根子，企业公众号的第一篇文章也希望特别一点，给大家来一篇大大的干货，我们后续也会在我们的公众号里给大家源源不断地奉上干货，大家可以关注一下我们公众号

阿里大牛实战归纳——Kafka架构原理

Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。

Kafka的网络层模型使用NIO技术处理网络通信。SocketServer通过Acceptor和Processor线程处理请求和连接。Acceptor负责监听和接受新连接，并分配给Processor处理。Processor有三个主要功能：处理完成的请求的响应、调用selector.poll()完成数据的接收和发送、处理已完成的接收操作。具体的流程是根据请求类型操作当前连接的nio selector，暂时删除读事件监听、添加写事件或关闭连接。同时，通过selector.completedReceives.asScala.foreach来处理已完成的接收操作。RequestChannel类在core/src/main/scala/kafka/network/RequestChannel.scala文件中保存所有的完整请求和需要发送的响应，由RequestHandler周期性获取请求并处理响应。ConnectionQuotas类则负责监控网络连接。

简介 Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。 Kafka架构 它的架构包括以下组件： 话题（Topic）：是特定类型的消息流。消息是字

Centos6系统默认的IO调度器是CFQ（Completely Fair Queuing），Kafka是顺序IO读写模型，使用Deadline和NOOP无疑是更好地选择。

本文主要讲述以下两部分内容： kafka数据的存储方式； kafka如何通过offset查找message。 1.前言写介绍kafka的几个重要概念（可以参考之前的博文Kafka的简单介绍）： Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成

问题研究： 研究Kafka consumer和broker之间的数据传输方式？ Kafka是如何保证可靠性？ 消费机制是consumer pull还是broker push？, 如果是push的话，kafka是否知道数据传输成功 0.写在前面昨天整理完Kafka之数据存储之后，今天决定再把笔记中kafka消息传输部

Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。