Hive SQL迁移Spark SQL在滴滴的实践

Outil en ligne

反馈

Plus

Hive SQL 迁移 Spark SQL 在滴滴的实践

出处：mp.weixin.qq.com

在滴滴SQL任务从Hive迁移到Spark后，Spark SQL任务占比提升至85%，任务运行时间节省40%，运行任务需要的计算资源节省21%，内存资源节省49%。在迁移过程中我们沉淀出一套迁移流程，并且发现并解决了两个引擎在语法，UDF，性能和功能方面的差异。

阅读原文

xiaozi 于 2021-01-25 分享

3610

关联话题： #滴滴 #SQL #Spark

欢迎在评论区写下你对这篇文章的看法。

据说喜欢分享的,后来都成了大神

把命照看好，把心安顿好，人生即是圆满。把命照看好，就是要保护生命的单纯，珍惜平凡生活。把心安顿好，就是要积累灵魂的财富，注重内在生活。换句话说，人的使命就是尽好老天赋予的两个主要职责，好好做自然之子，好好做万物之灵。