Introduction to Kafka Tiered Storage at Uber

Introduction to Kafka Tiered Storage at Uber

摘要

Uber提出了Kafka分层存储方案，用于解决Kafka集群存储的扩展性、效率和操作成本问题。该方案通过引入本地和远程两个存储层，实现了存储的扩展性和长期存储的可行性。远程存储层可以使用不同的扩展存储，并具有更长的数据保留期。分层存储方案减轻了Kafka代理的本地存储负担，降低了操作成本。此外，该方案通过引入RemoteLogManager和RemoteStorageManager等组件，实现了远程日志的复制、获取和删除操作，并提供元数据的生命周期管理。分层存储方案的架构图展示了本地和远程日志的复制过程，以及远程日志的清理过程。跟随者副本需要复制可在领导者本地存储中找到的段，并在开始从领导者获取任何消息之前构建辅助数据。