贝壳实时计算平台建设实践

1.

2. 贝壳实时计算平台建设实践 • 发展历程 • Hermes实时计算平台介绍 • 实时数仓建设 • Pandora事件处理平台建设 • 未来规划

3. 发展历程 Hermes实时计算平台基于Spark Streaming 2018.3 SQL 1.0 转向Flink 基于Spark Structured Streaming 支持Flink 任务 2018.10 2019.5 SQL 2.0 实时数仓 Pandora事件处理平台基于Flink 1.8 基于 SQL 2.0 Rule & CEP 2019.8 2019.11 2020.12 Flink 3.0及SQL版本统一 Flink 1.11 2021

4. Hermes实时计算平台介绍-平台概览生命周期管理监控报警任务托管 Java 自定义任务 Scala 模板任务 Python 场景任务多语言支持多任务类型支持专有队列公共队列资源隔离

5. Hermes实时计算平台介绍- 平台架构应用场景 ETL 监控推荐 BI 引擎层计算&存储层模板任务自定义任务场景任务开发管理层。。。风控模板管理实例管理连接管理资源管理任务管理数据源管理项目管理监控报警 StreamSQL 消息队列 StreamCEP DataStream Flink/Spark Streaming YARN HDFS RMDB HBase Hive Redis ClickHouse

6. Hermes实时计算平台介绍- 任务生命周期启动任务手动重启运行失败是否手动重启新建实例异步定时任务是否达到重试次数启动中(实例) 系统自动重试运行失败(实例) 任务异常启动异常启动失败集群状态同步任务运行中手动停止已停止

7. Hermes实时计算平台介绍-监控报警自定义Listener 引入sdk依赖代码显示添加 Hermes任务id 数据血缘 Checkpoint恢复元信息配置信息 kafka Hermes 落地 metric信息自定义Report 自动加载延时报警 java agent 启动时注入心跳报警可视化

8. Hermes实时计算平台介绍-监控报警

9. 实时数仓建设 – 能力元数据管理数据分层 SQL 数据血缘多源支持连接管理表管理 ODS DWD DWS OLAP 标准SQL语法维表关联图形化开发环境丰富的内置函数 UDF支持图形化展示链路分析实时数据流显示 Kafka Hbase Redis Doris ClickHouse MySQL

10. 实时数仓建设 – 架构 Hive User Log Server Log STG ODS RPT DW DIM 日志采集实时分析定时更新 kafka 实时同步 ClickHouse/ Doris Hbase/Redis 实时明细 MySQL EPX 维度关联 DWD ODS KAFKA DWS

11. 实时数仓建设 – SQL IDE

12. 实时数仓建设 – SQL任务调试 SQL引擎数据样例离线样例数据线上样例数据 Source Dim 生成DebugSQL 数据源元信息 SQL Debug Driver Sink结果UI展示 Sink结果输出

13. 实时数仓建设 – SQL任务调试

14. 实时数仓建设 – 数据血缘 • 溯源分析 • 问题排查 • 差异分析 • 提升用户体验 • 变动/异常预警

15. 实时数仓建设 – DDL 表类型支持的底层数据存储类型 Source Kafka Dim HBase Sink Redis HBase HTTP ClickHouse Kafka Doris MySQL Redis MySQL

16. 实时数仓建设 – OneSQL(建设中) 当前面临的问题： 1. 2. 3. 任务稳定性：减少断流时长 • 任务运行失败后的的迅速恢复，任务的状态管理及状态恢复 • 任务运行出错时的问题排查、迅速定位计算性能提升：高吞吐情况下保持较低的延迟 • 引擎执行优化 • 任务资源合理调配 SQL能力提升，满足日益增多的业务场景 • 聚合能力，支持下游写入数据的更新 • 关联能力的提升，解决相关表数据的乱序问题

17. 实时数仓建设 – 交易大屏

18. Pandora事件处理平台建设 – 需求背景事件驱动、通用能力平台 1. 用户行为事件缺乏统一抽象和管理；开发效率低、周期长，存在重复建设问题事件管理 2. 规则处理逻辑与业务系统耦合，难以灵活应对规则变化规则引擎 3. 缺乏触发下游动作的统一灵活的管理和配置，以及监控报警动作触发

19. Pandora事件处理平台建设 – 应用场景监控报警自动化运营实时推荐风控普通规则业务行为对接行为模式定义规则设置 CEP 活动编排用户特征关联报警设置同环比效果分析实时A/B 测试实时大盘 Pandora 事件管理规则引擎业务数据库动作触发用户特征库

20. Pandora事件处理平台建设 – 架构管理模块 DB 事件流管理事件管理任务配置任务管理第三方系统第三方系统适配层服务端引擎 MQ Filter Window Hermes Action Trigger Cep Sink 报警服务调用

21. 实时计算架构 Athena Hermes实时计算平台 User access logs API logs IDE DB transactions Flink SQL IOT logs 任务管理监控报警 Flink CEP 资源管理 Spark Streaming Hadoop 集群

22. 未来规划动态资源分配流批一体高可用状态管理

23.