中间件与数据库:Pulsar
360智汇云消息队列Pulsar版:性能极限测试
Apache Pulsar 以其存算分离架构和高效性能在消息队列领域脱颖而出,支持延迟消息和跨集群容灾,广泛应用于服务解耦场景。其写入过程涉及客户端到Broker、Broker到Bookie的两段耗时,通过优化刷盘策略和缓存机制,显著提升性能。实测表明,Pulsar在NVMe磁盘下单线程可实现百万TPS,开启压缩后可达150万,且保证消息顺序。
vivo Pulsar 万亿级消息处理实践(4)-Ansible运维部署
Ansible Playbook是自动化运维的核心工具,通过YAML文件定义任务,支持变量、处理器、角色等功能,提升脚本复用性和可维护性。Playbook语法包括任务模块、条件判断、循环等,支持任务间的依赖关系。实战中,Ansible可高效部署Zookeeper和Pulsar集群,简化运维流程,减少人力投入,适用于大规模分布式系统的自动化管理。
vivo Pulsar 万亿级消息处理实践(3)-KoP指标异常修复
vivo团队在Pulsar KoP升级时发现消费组指标缺失问题,经排查发现是ZK节点被误删导致。通过复现分析,确定问题源于连接关闭触发节点删除,影响分区消费指标上报。团队提出三种方案,最终采用"数据一致性检查+实时状态恢复"策略,修复了消费组名称丢失问题,保障了万亿级消息系统的稳定性。
Pulsar Serverless:实现 6 倍成本节约,无损弹性伸缩
360公司内部部署了上百套Apache Kafka集群,但资源利用率低,CPU和磁盘利用率不足20%。Serverless技术通过弹性伸缩和按需计费,显著降低成本。Apache Pulsar作为云原生消息流平台,采用存算分离架构,支持多租户和跨地域复制,具备高效弹性伸缩能力,相比Kafka实现6倍成本节约。Pulsar还支持延迟消息和集群容灾,进一步提升消息处理效率和系统稳定性。
vivo Pulsar万亿级消息处理实践(1)-数据发送原理解析和性能调优
Pulsar Producer是消息中间件的核心组件,负责消息的发送与处理。通过解析Producer的12个关键步骤,深入理解其工作原理,包括消息构造、分区选择、批量打包、压缩传输等。结合实际调优案例,优化参数如maxPendingMessages、memoryLimit等,可显著提升系统性能,降低CPU和磁盘IO负载,实现高效稳定的消息处理。
如何基于 SpringBoot 快速构建 Apache Pulsar 实时应用
本文将带领大家基于SpringBoot 快速构建一个 Pulsar 实时应用。
Apache Pulsar在小红书在线场景下的探索与实践
Pulsar在小红书在线消息队列的场景下如何落地。
Flipkart 异步总线如何实现不停机从 Kafka 迁移到 Pulsar
Flipkart 是印度领先的电子商务平台之一。我们基于 Kafka 打造的异步总线承接了公司海量的 HTTP 调用和消息传输。但随着业务的发展,Kafka 已经不能跟上公司快速变化的业务发展要求。随着调研和测试,我们最终决定使用 Pulsar 替换 Kafka。
从 Kafka 迁移到 Pulsar 给我们带来了诸多优势。Pulsar 内置的企业级功能,减少了我们自行开发和维护的成本,也降低了系统的总体复杂性。在 Kafka 中,这些高级功能都需要额外构建和维护。
海量消息下王者荣耀在 TDMQ Pulsar 版的实践
关于王者荣耀《王者荣耀》是由腾讯游戏开发的一款运营在 Android、IOS 平台上的 MOBA 类手游,属于多x
Pulsar 在 360 的实践之道
更多产品和技术资讯,请持续关注~
BIGO优化Apache Pulsar系列-Bookie负载均衡
Apache Pulsar 在 BIGO 的性能调优实践。
Apache Pulsar 为滴滴大数据运维带来了哪些收益?
Apache Pulsar 在滴滴大数据消息系统运维中的实践。
基于 Pulsar 的海量 DB 数据采集和分拣
Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。本文是 Pulsar 技术系列中的一篇,主要介绍 Pulsar 在海量DB Binlog 增量数据采集、分拣场景下的应用。
Apache Pulsar在微信实时推荐场景下的优化与实践
Pulsar 作为微信大数据平台 Gemini-2.0 的消息队列,支持了微信实时大数据及推荐场景的业务。经过我们一系列的改造优化,Pulsar在高性能、高可用、易维护、低成本等方面,都有很大的提升。
Apache Pulsar 在拉卡拉的技术实践
本文从架构、测试、场景等几个方面分享了 Apache Pulsar 在拉卡拉的技术实践。
Apache Pulsar 技术系列 - Pulsar事务实现原理
Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。腾讯云MQ Oteam Pulsar工作组对 Pulsar 做了深入调研以及大量的性能和稳定性方面优化,目前已经在TDBank、腾讯云TDMQ落地上线。