中间件与数据库:Kafka
基于SSD的Kafka应用层缓存架构设计与实现
美团Kafka系统每天处理消息总量达8万亿,PageCache竞争是当前最大痛点,针对该问题我们设计了一套新型的架构,本文详细介绍了该方案的设计与实现。
Kafka 原理以及分区分配策略剖析
本文主要介绍了kafka的一些基本概念,围绕kafka的基础架构,对生产者、消费者以及kafka的工作流程,文件存储机制、分区分配策略等进行了简要的介绍。
Disaster Recovery for Multi-Region Kafka at Uber
Uber has one of the largest deployments of Apache Kafka in the world, processing trillions of messages and multiple petabytes of data per day. As Figure 1 shows, today we position Apache Kafka as a cornerstone to Uber’s technology stack and build a complex ecosystem on top of it to empower a large number of different workflows.
简单理解 Kafka 的消息可靠性策略
kafka 中的可靠性设计介绍。
Optimally scaling Kafka consumer applications
Read this deep dive on our Kubernetes infrastructure setup for Grab's stream processing framework.
时间轮在Kafka的实践
时间轮是一个应用场景很广的组件,在很多高性能中间件中都有它的身影,如Netty、Quartz、Akka,当然也包括Kafka,本文主要介绍时间轮在kafka的应用和实战,从核心源码和设计的角度对时间轮进行深入的讲解。
图解:Kafka 水印备份机制
图解:Kafka 水印备份机制
消息队列之事务消息,RocketMQ 和 Kafka是如何做的?
分布式事务之事务消息,到底如何实现呢?
Linux Page Cache调优在Kafka中的应用
本文主要描述Linux Page Cache优化的背景、Page Cache的基本概念、列举过去针对kafka的IO性能瓶颈采取的一些解决方案、如何进行Page Cache相关参数调整以及性能优化前后效果对比。
面试官:知道时间轮算法吗?在Netty和Kafka中如何应用的?
为什么不用Timer、DelayQueue 和 ScheduledThreadPool
Kafka和RocketMQ底层存储之那些你不知道的事
两者底层存储到底是如何实现的?有哪些优化?消息存磁盘为什么还这么快?各自有什么优缺点?今儿来一探究竟!
Kafka 时间轮的原理和实现
Kafka 作为一个支持实时处理大量请求的分布式流处理平台,需要一个设计良好的定时器来处理异步任务。本文作者将基于 Kafka 1.1.0 版本的源码来介绍 Kafka 中定时器的基础数据结构——时间轮的原理和实现。
基于Canal 和 Kafka,实现 MySQL 的 Binlog 近实时同步
近段时间,业务系统架构基本完备,数据层面的建设比较薄弱,因为笔者目前工作重心在于搭建一个小型的数据平台。
Netty、Kafka中的零拷贝技术到底有多牛?
我们经常在Java NIO,Netty,Kafka,RocketMQ等框架中听到零拷贝。
基于Kafka+Flink+Redis的电商大屏实时计算案例
基于Kafka+Flink+Redis的电商大屏实时计算案例
如何正确理解kafka重平衡流程?
Kafka 重平衡流程一直是 kafka 比较麻烦和难以理解的地方,此篇文章通过大量的示意图带你了解一下 kafka 重平衡的过程