资讯业务数据流编排实践

1. 深擎科技资讯业务数据流编排实践秦旸深擎科技数据架构师 DataFunSummit # 2023

2. Content 01 02 03 深擎资讯服务体系简介基于Dolphinscheduler 数据流编排方案复杂业务场景实践

3. 01 深擎资讯服务体系简介 DataFunSummit # 2023

4. 1 资讯接入 2 数据清洗 3 数据增强调用模型接口进行打标等信息增强进行字段映射和清洗实时接入各类资讯 4 人机审核进行信息审核业务数据流采买接入版权资讯，清洗审核后下发给客户 5 数据下发下发给客户

5. 原有架构 • • •

6. 数据中台 - 尚书房

7. 数据中台 - 尚书房 01 02 03 数据集成数据处理数据网关编排/调度 FlinkCDC Iceberg Data Process Platform 元数据管理 Java

8. 数据中台 - 尚书房数据网关任务编排调度元数据管理/数据集成

9. 02 基于DS的业务编排方案 DataFunSummit # 2023

10. 业务挑战？ • • •

11. 数据处理平台（DPP）- 算子开发 AsyncHttpTransform算子打标算子

12. 数据处理平台（DPP）- 算子开发

13. 数据处理平台（DPP）- 算子开发

14. 数据处理平台（DPP）- 算子编排 DAG • • •

15. 数据处理平台（DPP）- 运行时 • TECH . DEEPQ . DATA . PROCESS . DRIVER .F LINK D RIVER HDFS :/// DOLPHINSCHEDULER / HADOOP / RESOURCES / CONF /0_3558_ DPP _ CONFIG . JSON

16. 如何可视化？如何调度？

17. DS 印象 • • •

18. 速写本并列关系图表 DS 3.1.2 待完善 01 Yarn任务提交之后没有追踪远端任务状态无法方便地查看Yarn平台日志 02 savepoint 支持不完善 03 无法支持Flink内部的算子编排 01 Yarn 任务状态监控不完善 02 Flink 特性支持不完善 03 Flink 算子编排不支持

19. DS 增加算子库和依赖包管理

20. DS 可视化编排

21. DS 完善任务提交/监控

22. 03 复杂业务场景举例 DataFunSummit # 2023

23. 场景：板块热点计算

24. 场景：质量分计算

25. 场景：质量分计算

26. 场景：质量分计算

27. 场景：质量分计算

28. 业务数据流编排收益 50% 40% 01 数据开发 02 客户侧部署

29. 感谢观看祝愿巴以早日和平