Hive SQL迁移Spark SQL在滴滴的实践

온라인도구

反馈

자세히

Hive SQL 迁移 Spark SQL 在滴滴的实践

出处：mp.weixin.qq.com

在滴滴SQL任务从Hive迁移到Spark后，Spark SQL任务占比提升至85%，任务运行时间节省40%，运行任务需要的计算资源节省21%，内存资源节省49%。在迁移过程中我们沉淀出一套迁移流程，并且发现并解决了两个引擎在语法，UDF，性能和功能方面的差异。

阅读原文

xiaozi 于 2021-01-25 分享

3940

关联话题： #滴滴 #SQL #Spark

欢迎在评论区写下你对这篇文章的看法。

据说喜欢分享的,后来都成了大神

当一只玻璃杯中装满牛奶的时候，人们会说“这是牛奶”；当改装菜油的时候，人们会说“这是菜油”；只有当杯子空置时，人们才看到杯子，说“这是一只杯子”。同样，当我们心中装满成见、财富、权势的时候，就已经不是自己了；人往往热衷拥有很多，却往往难以真正的拥有自己。