中间件与数据库:Kafka
Kafka 为什么使用消费者组?
这是一道常见的kafka面试题
协助美团kafka团队定位到的一个JVM Crash问题
有挺长一段时间没写技术文章了,正好这两天美团kafka团队有位小伙伴加了我微信,然后咨询了一个JVM crash的问题,大家对crash的问题都比较无奈,因为没有现场,信息量不多,碰到这类问题我们应该怎么去分析,我想趁这次机会和大家分享一下我针对这种问题的分析
面试官:Kafka 如何优化内存缓冲机制造成的频繁 GC 问题?
设计Kafka架构的技术大牛,是如何优化JVM GC问题的?
Kafka 异步消息也会阻塞?记一次 Dubbo 频繁超时排查过程
是时候玩一玩kafka了!
深入理解Kafka数据高并发写入、可靠性以及EOS语义
作者:不清不慎,Java大数据开发工程师一枚,热爱研究开源技术! 架构师社区合伙人!Kafka作为一个优秀的高性能消息中间件,广泛用于各种大数据高并发场景下,常常听一些ب
Kafka 的 20 项最佳优化实践
必读的Kafka最佳优化实践
Kafka真的不适用于Event Sourcing
作者 | Jesper Hammarbäck 编辑 | 无明 首先,我先说 Apache Kafka 是一款很酷的产品,但如果你想用它来实现事件溯源,请先慎重考虑一下。Kafka 是一个在生产者和消费者之间传递消息的绝
假笨说-协助美团kafka团队定位到的一个JVM Crash问题
PerfMa作为一家新型的技术驱动型公司,技术是我们的命根子,企业公众号的第一篇文章也希望特别一点,给大家来一篇大大的干货,我们后续也会在我们的公众号里给大家源源不断地奉上干货,大家可以关注一下我们公众号
阿里大牛实战归纳——Kafka架构原理
阿里大牛实战归纳——Kafka架构原理
Kafka设计解析(二)- Kafka High Availability (上)
Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复,亦或磁盘故障,则其上数据将丢失。
Kafka 源码分析之网络层(一)
Kafka的网络层模型使用NIO技术处理网络通信。SocketServer通过Acceptor和Processor线程处理请求和连接。Acceptor负责监听和接受新连接,并分配给Processor处理。Processor有三个主要功能:处理完成的请求的响应、调用selector.poll()完成数据的接收和发送、处理已完成的接收操作。具体的流程是根据请求类型操作当前连接的nio selector,暂时删除读事件监听、添加写事件或关闭连接。同时,通过selector.completedReceives.asScala.foreach来处理已完成的接收操作。RequestChannel类在core/src/main/scala/kafka/network/RequestChannel.scala文件中保存所有的完整请求和需要发送的响应,由RequestHandler周期性获取请求并处理响应。ConnectionQuotas类则负责监控网络连接。
Kafka基本原理
简介 Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。 Kafka架构 它的架构包括以下组件: 话题(Topic):是特定类型的消息流。消息是字
Kafka参数优化 — IO系统优化
Centos6系统默认的IO调度器是CFQ(Completely Fair Queuing),Kafka是顺序IO读写模型,使用Deadline和NOOP无疑是更好地选择。