홈 항목 library logo 글 내
자세히

Hive SQL 迁移 Spark SQL 在滴滴的实践

摘要

在滴滴SQL任务从Hive迁移到Spark后，Spark SQL任务占比提升至85%，任务运行时间节省40%，运行任务需要的计算资源节省21%，内存资源节省49%。在迁移过程中我们沉淀出一套迁移流程， 并且发现并解决了两个引擎在语法，UDF，性能和功能方面的差异。

阅读原文
xiaozi 于 2021-01-25 分享
3589 海报分享
关联话题： #滴滴 #SQL #Spark

欢迎在评论区写下你对这篇文章的看法。

评论

홈 - 위키
Copyright © 2011-2024 iteam. Current version is 2.137.1. UTC+08:00, 2024-11-09 01:46
浙ICP备14020137号-1 $방문자$