作业帮 Spark 全面替换 Hive 实践

摘要

作业帮将Hive计算引擎替换为Spark SQL,以应对Hive在资源利用和稳定性上的局限。通过工具化迁移和优化,Spark任务覆盖率达80%,资源节省54%。优化包括内存控制、并发提交、结果集返回、向量化读和JVM GC调优,显著提升性能和稳定性,为未来技术演进奠定基础。

欢迎在评论区写下你对这篇文章的看法。

评论

首页 - Wiki
Copyright © 2011-2025 iteam. Current version is 2.144.0. UTC+08:00, 2025-06-27 03:02
浙ICP备14020137号-1 $访客地图$