新一代大数据任务调度平台 Apache DolphinScheduler 架构实践经验

1. 新一代大数据任务调度平台 - Apache DolphinScheduler 架构实践经验代立冬 Apache DolphinScheduler PMC Chair & Apache 孵化器导师

2.

3. • Apache DolphinScheduler 简介 • 架构演进历程 • Apache DolphinScheduler 2.0 架构优化 – 如何让性能提升 20 倍？ • Apache DolphinScheduler 应用案例实践 • 云原生下的调度思考

4. 01 DolphinScheduler 介绍 DolphinScheduler 简介研发 DolphinScheduler 的背景 DolphinScheduler 的功能一瞥

5. • Apache DolphinScheduler 简介 Apache DolphinScheduler 是一个云原生的分布式易扩展并带有强大可视化界面的大数据工作流调度系统。 2021 年 04 月 09 日正式成为 Apache 顶级项目。首个由国人主导并贡献到 Apache 基金会的大数据工作流领域的顶级项目。

6. DolphinScheduler 部分用户案例

7. 调度的痛点？任务依赖补数日志 Oozie/Airflow 的任务日志不是一般人想看就看的 Why DolphinScheduler ？来自奇安信讲师在 Meetup 上的分享

8. DolphinScheduler 功能一瞥总览任务执行状态回溯工作流运行状态查看任务执行日志查看任务执行日志查看，方便运维实时了解任务运行状况，快速定位问题

9. DolphinScheduler 功能一瞥 2.0 以前版本

10. DolphinScheduler 功能一瞥 2.0 版本

11. 02 DolphinScheduler 架构迭代 DolphinScheduler 1.2 架构 1.2 架构缺点 DolphinScheduler 1.3 架构 1.3 架构改进了哪些耗时 10 个月，性能提升 20 倍的 2.0 架构都做了些什么

12. DolphinScheduler 设计特点高可靠性   简单易用去中心化的多 Master 和多 Worker,  一键部署 – 简化部署，易维护自身高可用能力  可视化 DAG 界面，所有流程定义都是可视化，通过拖拽任务形成工作流模板采用任务队列来避免过载，不会造成机器卡死丰富的使用场景  支持 Open API 方式与第三方系统对接高扩展性、云原生能力  支持暂停恢复操作  支持自定义任务类型  支持多租户，权限管理等大数据应用场景  调度器使用分布式调度，调度能力随集群线性  支持近 20 种任务类型，如 Spark, Hive, MR, Python, Sub-Process, Shell 等增长  弹性伸缩， Master 和 Worker 支持动态上下线

13. DolphinScheduler 1.2 架构 MasterServer 无中心设计  MasterServer主要负责 DAG 任务切分、任务提交监控  监听其它MasterServer和 WorkerServer的健康状态及容错处理 WorkerServer 无中心设计  WorkerServer主要负责维护任务的生命周期  WorkerServer服务启动时向 Zookeeper注册临时节点，并维持心跳

14. DolphinScheduler 1.2 架构不足 • • • • 1 • Master 将任务信息存放到 zk 队列中 Worker 通过分布式锁的方式去消费任务队列，延迟了任务开始执行的时间(经历了1-2- 3)。 • 2 • 3 • 4 • Master没有真正意义上地去管理； Worker却做了许多不必承担的工作为保证性能，zk 数据节点无法存储执行任务所需的全部信息。因而 Worker 需要操作数据库去获取相关信息，增加了数据库的负担。

15. DolphinScheduler 1.3 架构

16. DolphinScheduler 1.3.x 与 1.2.x 系统运作的差异 1.3.x 架构(黑线)中 Master职能更加丰富，Worker则更加专注于执行。 1.2.x 中 Worker不仅要主动“揽活”，还要负责“善后”工作。任务的执行状态要通过访问数据库才能获得，对于那些任务复杂的工作流来说，时效性，任务吞吐，数据库压力都会成为调度性能的瓶颈。

17. • DolphinScheduler 1.3.x 架构待优化  Master 分布式锁，抢锁问题  Master 使用线程多的问题  频繁查询数据库问题  任务类型的易扩展性

18. 03 DolphinScheduler 2.0 耗时 10 个月，性能提升 20 倍的 2.0 架构都做了些什么

19. 耗时 10 个月完成的 2.0 架构高性能 - Master 重构减少数据库轮询去分布式锁减少线程使用

20. 2.0 以前版本瓶颈- 分布式锁

21. 2.0 重构 - 去分布式锁尝试之 Scheduler HA

22. 2.0 重构 - 去分布式锁采用方案

23. 2.0 重构 - Master 中的线程模型 2.0 以前 Master 实现  使用一个主线程池执行所有 DAG 工作流  主线程池执行过程中为每个工作流创建一个任务线程池  Master 能并发处理的工作流为 m, 并发处理的任务为 n，会产生m * n 个线程

24. 2.0 重构 - Master 中线程池如何工作 MasterSchedulerService 负责从 Command 表中分片获取 command, 构造工作流实例，启动 WorkFlowExecuteThread 处理 WorkFlowExecuteThread 负责构建 DAG, DAG 拆分，生成任务实例，提交到任务队列；同时负责处理任务状态和工作流状态变化 ThreadPool API StateEventExecuteService ThreadPool 负责接收其他 Master / Worker 发过来的任务状态和工作流状态变化事件，并提交 WorkFlowExecuteThread 状态处理 StateWheelExecuteService 负责任务/工作流超时监控

25. DolphinScheduler 2.0 Master 端有哪些变化  大幅减少 Master 的线程使用  使用分片机制获取命令队列  增加状态事件的处理机制  增加 Master 与 Master 之间的通信  增加 Master 的缓存机制

26. 2.0 DAG 拆解

27. DolphinScheduler 2.0 Master 运行流程

28. 改造后的 2.0 架构效果 – 吞吐 20 倍提升 Master:100 threads Worker:100 threads

29. 2.0 新增可扩展能力所有扩展点都采用插件化实现 Service Provide Interface，简称SPI SPI 优点 1、SPI 设计保持简洁 2、不依赖过多第三方 JAR 3、各个插件保持独立可扩展的地方 • • 告警 SPI • 注册中心 SPI • 资源存储 SPI • 任务插件 SPI • 数据源 SPI Waterdrop

30. 告警插件 Email DingTalk Feishu Http Script …

31. 2.0 跨集群、跨机房调度  多种环境变量配置  环境变量和任务绑定  WorkerGroup 适配环境变量

32. 2.0 功能新增主要 Feature • 任务结果参数传递 • 工作流间的血缘关系，如右图 • 增加数据同步组件 Waterdrop、多分支等任务组件能力支持 • 工作流定义和任务关系拆分，更易通过 open API 生成工作流 • 添加工作流版本控制，如下图

33. 体验版极速部署 • 只需要 2 步即可体验 • 1、安装 JDK • 2、sudo 用户一键启动 • sh ./bin/dolphinscheduler-daemon.sh start standalone-server

34. 04 用户实践案例社区用户案例

35. DolphinScheduler 在联通的大规模应用实践 •    目的：集中调度 Spark、Hive、MR job、存储过程、Shell 等资源，支撑跨系统、跨应用、跨语言的作业任务协同执行，实现调度全局化、透明化复杂多样的作业定义与调度策略：包括父子流程、并行、串行、依赖、和干涉等方式资源负载均衡，实现高效调度：按资源对任务调度分组、并发控制、优先级动态调整一天数十万任务量级调度，对稳定性要求极高

36. 联通 2020 年技术选型重点调研过的产品：存在的问题是否适合原调度替换基座框架 Oozie 1.配置工作流的过程是编写大量的xml 语言配置，社区活跃度低不适合 2.代码复杂度比较高，不易于二次开发 Azkaban 1.创建 job 需要手动完成固定格式文件 2.任务执行中信息存储在内存中并没有持久化，所以一旦失败会丢失所有工作流。 Airflow Dolphinscheduler 重点讨论不适合

37. 联通技术选型 Airflow DolphinScheduler 二开成本 Python 开发成本较高 Java，流程清晰，代码简洁，成本相对较低社区活跃度比较活跃比较活跃集群扩展需重启 Worker 节点单点故障主从模式，存在一定的单点风险多 Master 多 Worker，注册 Zookeeper，一个节点挂了不影响其他节点过载处理任务量大，调度的性能会急剧下降，甚至卡死服务器任务过多会依靠队列排队作业编排流程定义需要编写 Python 脚本支持任务拖拽配置，本土化亮点突出，用户交互友好节点类型可随时在 ZK 中注册和删除 Master、Worker，操作简单，稳定向高，可扩展性强 BashOperator、PythonOperator、SSHOperator、 Shell节点、子流程节点、存储过程、SQL节点、 HiveOperator，DockerOperator，OracleOperator， Spark节点、MR、Python节点、依赖节点、HTTP MysqlOperator，DummyOperator，SimpleHttpOperator、节点、自定义节点自定义节点暂停与重跑否支持暂停流程、支持任意节点重跑全局变量支持全局变量，项目内所有流程可见，缺乏变量权限控制暂不支持(注：联通已贡献给社区)

38. • 联通技术选型结果 - DolphinScheduler

39. DolphinScheduler 在 T3 出行数据湖建设中的实践 • T3 2019 年在建设数据湖时，从易用性、社区活跃度、可拓展性、与 Hadoop 生态圈集成以及维护成本几个维度进行了调研对比 Oozie 易用性一般社区活跃度中可扩展性 hadoop集成维护代价一般 Azkaban 较好 Airflow 较好中高 Dolphin 好活跃一般高深入一般一般高中中调度系统对比表活跃深入低

40. DolphinScheduler 在 T3 出行数据湖建设中的实践 • • • • • 流式消费低延迟的数据摄入 Hudi 与 Spark 解耦支持 Flink 引擎流式写入 • 流式生产调度加工 • • • • 高效快速的数据加工写 commit 通知调度集成摘自Apache Hudi PMC 杨华/赵玉威同学分享：T3出行在数据湖上进行准实时分析查询分析 • • • 低延迟的交互式查询分析 Zeppelin 集成 Alluxio 加速

41. 05 云原生下的调度方向 Roadmap 云原生下如何发展 DolphinScheduler 发展历程参与开源有啥用

42. Roadmap(近期) 任务并行度控制任务列表配置任务全局优先级血缘分析智能生成 DAG 优化文档结构 SDK 开发 • 如果对 Roadmap 有更多建议，欢迎讨论

43. Roadmap （长期） • 毫秒级超低延迟 • 更高的调度吞吐量 • 智能化

44. 云原生时代 – 调度的方向容器调度任务去 ZK 多云的能力弹性伸缩、任务隔离易扩展、高性能

45. DolphinScheduler 项目发展历程 DolphinScheduler 架构设计决定开源花了2个月进行重构升级 1.0.1、1.0.2、1.0.3 相继推出1.0.1、 1.0.2、1.0.3版本 Apache第一个版本 1.2.0 2019.02 2019.05 2019.12 2017.12 • • 2018.05 内部使用千帆产品线使用 2019.03 外部种子用户使用 3月30号正式对外开源 – 1.0.0版本 2019.08 进入apache孵化器 … 1. Apache 顶级项目 3. 2021.04.09 4 、 1. 3. 5

46. 为什么要参与开源技术能力提升成就感、自信心个人影响力、个人晋升 1 2 开源 3 丰富简历，利于找工作 4 5 6 结交高手、提高交流技巧创新

47. 参与开源贡献的方式 Apache DolphinScheduler 社区参与贡献的方式，包括：文档翻译答疑测试代码实践文章、原理文章等 DolphinScheduler 开源社区非常期待您的参与 - 中国开源崛起会议分享等

48. DolphinScheduler 2020 年荣誉

49.

50. DolphinScheduler 资源  开源地址： https://github.com/apache/dolphinscheduler  公众号 : 海豚调度  Twitter: @dolphinschedule  Slack workspace: https://s.apache.org/dolphinscheduler-slack