Home Topic library logo Library Mine
More

Hive SQL 迁移 Spark SQL 在滴滴的实践

摘要

在滴滴SQL任务从Hive迁移到Spark后，Spark SQL任务占比提升至85%，任务运行时间节省40%，运行任务需要的计算资源节省21%，内存资源节省49%。在迁移过程中我们沉淀出一套迁移流程， 并且发现并解决了两个引擎在语法，UDF，性能和功能方面的差异。

阅读原文
xiaozi 于 2021-01-25 分享
3709 海报分享
关联话题： #滴滴 #SQL #Spark

欢迎在评论区写下你对这篇文章的看法。

评论

Home - Wiki
Copyright © 2011-2024 iteam. Current version is 2.139.0. UTC+08:00, 2024-12-23 04:15
浙ICP备14020137号-1 $Map of visitor$