Hive SQL迁移Spark SQL在滴滴的实践

在线工具

反馈

Hive SQL 迁移 Spark SQL 在滴滴的实践

出处：mp.weixin.qq.com

在滴滴SQL任务从Hive迁移到Spark后，Spark SQL任务占比提升至85%，任务运行时间节省40%，运行任务需要的计算资源节省21%，内存资源节省49%。在迁移过程中我们沉淀出一套迁移流程，并且发现并解决了两个引擎在语法，UDF，性能和功能方面的差异。

阅读原文

xiaozi 于 2021-01-25 分享

2616

关联话题： #滴滴 #SQL #Spark

欢迎在评论区写下你对这篇文章的看法。

据说喜欢分享的,后来都成了大神

传统文化丢失严重啊，古代女子个个能呤诗作对，现代女子不行了只会作对。