58大数据应用平台的实践演进

1. 58大数据应用平台的实践演进

2. 自我介绍于涛 58大数据部西南交大软件工程硕士 10年互联网产品以及大数据领域开发架构经验负责58云窗数据探查平台的建设与开发负责58星河大数据应用平台的建设与开发

3. 目录 contents 01 大数据应用平台介绍 02 平台资源管控介绍 03 核心能力技术解析 04 总结及未来规划

4. 58大数据应用平台介绍

5. 58大数据应用平台介绍 1.0时代 2.0时代 3.0时代基本探查核心调度全链路闭环仅支持探查类查询，异构数据源仅打造自研的核心调用平台，支持更体系化产品建设，形成一站式数据应用仅支持hive and mysql ，离线开发多的生产场景，数据源支持多元化，平台，增加数据全链路服务管理能力，更多面对产品需求自研全新的调度服务、元数据服务包括数据质量，数据治理等工具链路的等打通，承载全公司的业务

6. 58大数据应用平台核心统一数据规范统一数据标准、资产标准，通过对数据规范建设，提升效率，精准赋能综合数据治理结合数据探查、数据开发任务，对表和目录层级进行深度治理，提供系统级别的批量操作工具整合全域数据支持大部分异构数据源，支持完整的数据采集能力，以及全链路血缘图谱保证数据安全细粒度的行列权限控制，敏感和加密字段管理，构造数据安全屏障丰富的数据交换任务支持20+种数据任务开发，灵活的模板配置方式，极大降低数据抽取的门槛

7. 58大数据平台体系架构探查作业

8. 58大数据应用平台介绍 48万接入数据表数 15PB 日数据处理量 320PB 总数据量

9. 58大数据应用平台介绍数据探查 01 定位：一站式大数据分析解决方案，高 02 03 开发调度 01 定位：一站式大数据调度解决方案，简文档类型：探查类 02 文档类型：抽取、交换、接口调用等面向用户：数据开发、数据分析、产 03 面向用户：以数据开发为主效挖掘数据价值，降低使用门槛品、运营、市场等人员单高效的灵活配置各类型定时任务

10. 58大数据应用平台介绍覆盖平台用户50% 探查文档开发任务有效开发任务 19 万+ 覆盖平台用户 30%

11. Part 02 平台资源管控介绍

12. 平台资源管控介绍

13. 平台资源管控介绍 Execute and manage User org relation 管理与执行隔离多组织对应关系针对跨部门合作与交接的场景，用户组织一对多关联，即兼容核心数据资产和开发任务的管业务逻辑，又保证用户切换的理关联与执行hadoop隔离可靠性和便捷性

14. 平台资源管控介绍用户与组织开发用户与组织，一对多的关系管理管理与执行任务和表，隔离执行组织与管理组织，有效解决跨部门交接、合作等问题组织账号组织 – hadoop账号 – 队列更加明确的管理资产转移个人多组织支持数据资产的组织维度迁移自助化

15. Part 03 核心能力技术解析

16. 核心能力痛点规范落实规范难落地，工具支持欠佳跨组织账号权限人员-组织-hadoop账号对应且一对一元数据信息不一致 01 难点解析 02 关系，在跨部门合作与交接中尽显不便。数据搜索屏障对于表名以外的其他维度信息，字段等搜索限制较大，且无法第一时间给用户想要的结果。 04 03 元数据入口较多，且业务逻辑不一致，复杂逻辑冗余，且私有客户端执行频繁。 05 06 治理无从下手治理只能线下单一维度的统计和执行，生态工具较弱，业务方很难直观操作。血缘准确、时效血缘更新不及时，下线表和任务的重要参考依据不能直观反应当前依赖状态

17. 实践 01 元数据 02 数据地图 03 血缘图谱 04 数据治理

18. 元数据-痛点异构数据源接入不统一元数据服务与业务耦合比较严重，导致部分业务的逻辑不一致，建表等平台操作又缺乏一定的规范和审核，导致元数据信息的准确性和完整性都不能严格意义上的保证。良好扩展性的元数据服务是整体数据应用平台的基石 Oncall 问题剧增由于元数据信息是整体业务流程较为底层的环节，探查文档和开发任务全部依赖元数据服务的可靠和信息的一致性，一旦出现问题，将会有较大影响。

19. 元数据与规范 01 数据孤岛数据服务快速发展导致的烟囱式建设数据质量 02 数据不一致前期缺失规范和定义，后期指标口径计元数据管理算不一致 03 数据作业稳定性多次设计、复用性差数据规范降本增效数据安全

20. 元数据与规范 TITLE 命名规范数仓建表：表和字段命名约束、分区命名、注释命名 TITLE TITLE 分层规范数仓分层： RAW->ODS->DWD->DWS->APP DIM TMP TITLE 建表规范存储规范建表审核、分层依赖约束、生命周期约束分层权限约束

21. 服务优势规范调用方底层元数据异构数据源规范内部调用方的统聚合多个元数据的统屏蔽了业务逻辑与底一调用协议，保证单一封装，对内对外出层异构数据源的耦合一业务单元的逻辑一口数据一致致服务优势可靠、统一的元数据服务，很好的解决了之前元数据分散、不完整、口径不一致等等众多问题，且对上层业务屏蔽了异构数据源的执行和查询策略

22. 服务介绍 MySql 数据源支持 Hive Hbase 采集流程数据源建立 SqlServer Oracle 数据库导入 Doris ClickHouse 表认领、刷新 Redis 针对类似redis这种非结构化数据源类型，支持数据任务的应用配置 ex : redis2Hive 支持配置key类型和扫描规则 Wtable Wlist（自研）

23. 技术架构

24. 服务实现 01 02 03 根据数据源类型匹配对应的连接器获取连接器实例，装配底层业务操作，屏蔽不同数据源的schema信息更新统一元数据业务服务，目前仅支持主动刷新

25. PART TWO 数据地图 02

26. 数据地图-痛点找数据难老版数据字典的搜索更加针对于已知库表名、负责人等确认信息的搜索，在真实应用中，用户更加偏向于针对表或者字段的口径、注释等模糊信息支持全维度检索的升级版数据地图更加高效、清晰的展示所有库、表、字段理解数据难数据表的详情信息不仅仅需要基础元数据的属性信息，更需要表的运维信息、底层访问信息、样例数据等，全面、便捷的信息提供才能便于用户更加方便的理解的元数据信息

27. 效果

28. 技术架构-写入数据流

29. 技术架构-检索数据流

30. PART THREE 血缘图谱 03

31. 血缘图谱-痛点 SQL解析相对准确性 SQL解析本身是相对耗时的操作，且有一定几率会失败，所以在上层的权限判断以及依赖汇报都需要快速且相对准确的解析服务血缘关系服务可分析数据对象的上下游关联对象，定位影响和依赖调度。血缘全链路覆盖，时效性由于数据开发用户的作业分配范围较大，应用层输出渠道较多，全链路的血缘覆盖并不容易，且不用调度作业对应的时间周期不同，血缘的时效性也是关键。

32. 技术架构 01 覆盖部分开发任务和探查文档运行时上报 02 元数据服务根据业务归属以及幂等标识，过滤天级 03 SQL解析服务：解析库表关系，字段，以及源和目标 04 有效血缘定义：三个定时周期之内的有效时间内，别以下任务的多次上报属性存在血缘关系

33. 技术实现

34. PART FOUR 数据治理 04

35. 数据治理-痛点治理 320PB 目前，58中台基础数据较大，最重要是随着业务的发展，日增量较为突出，所以对数据治理工具的依赖就迫在眉睫有效的治理工具最重要的两个方面： 1：制定规范和标准 2：元数据驱动、治理工具协作总接入数据表数 15PB 48万日数据处理量 15PB 320PB 总数据量

36. 数据治理介绍元数据数仓治理规则方案搭建全指标维度的元数据数支持业务方自定义拼装治理仓，融合底层和平台层治理规则，合理筛选目标实体相关原始数据治理工具池数据作业流程平台核心工具支持，支持任通过离线ETL作业，过滤规意治理工具的批量操作，且则，找到最真实业务治理有效实时反馈 “痛点”

37. 技术架构

38. Part 04 总结及未来规划

39. 总结分享总结平台介绍资源管控元数据数据治理

40. 未来规划 BLOOD LINEAGE DATA SERVICE 血缘覆盖数据服务全链路血缘和字段的覆盖数据服务API的可视化配置，查询引擎策略 DATA GOVEN 灵活治理数据治理业务灵活配置 DATA QUALITY CHECK 数据质检数据质量检查

41. 欢迎加入交流群

42. 感谢聆听