Hive SQL迁移Spark SQL在滴滴的实践

在线工具

反馈

Hive SQL 迁移 Spark SQL 在滴滴的实践

出处：mp.weixin.qq.com

在滴滴SQL任务从Hive迁移到Spark后，Spark SQL任务占比提升至85%，任务运行时间节省40%，运行任务需要的计算资源节省21%，内存资源节省49%。在迁移过程中我们沉淀出一套迁移流程，并且发现并解决了两个引擎在语法，UDF，性能和功能方面的差异。

阅读原文

xiaozi 于 2021-01-25 分享

3636

关联话题： #滴滴 #SQL #Spark

欢迎在评论区写下你对这篇文章的看法。

据说喜欢分享的,后来都成了大神

生活对于每个人来说都是平等的，上帝不会偏爱任何一个人。但人世间有人会感到幸福，而有人感受不到或不强，那是因为幸福是一种能力，是感谢生命赐予和现有生活的能力；是感受快乐、抵制不良情绪的能力；是不断反省自己、完善自我的能力；是一种调节身心平衡，调节人与社会平衡的能力。