vivo Celeborn PB 级 Shuffle 优化处理实践

摘要

vivo大数据团队采用Celeborn作为Shuffle服务核心方案,通过硬件适配、性能调优和稳定性优化,日均支撑PB级数据量。针对高负载场景,创新设计了小文件缓存和磁盘级线程控制策略,显著提升吞吐量。未来将推进运维平台化并跟进社区版本升级,持续优化混部集群性能。(139字)

欢迎在评论区写下你对这篇文章的看法。

评论

首页 - Wiki
Copyright © 2011-2025 iteam. Current version is 2.148.2. UTC+08:00, 2025-12-12 04:00
浙ICP备14020137号-1 $访客地图$