贝壳数据治理实践

1.

2. 01 数据治理背景 02 数据存储治理 03 数据算力治理 04 数据质量治理 05 数据指标治理 06 数据安全治理

3. 数据治理背景

4. 数据治理背景 01 数据治理定义数据治理是一种数据管理概念，从数据全链路的视角出发，采用多种手段从多维度对数据进行治理，从而提供高质量的数据，打造健康的数据治理体系。 02 治理背景各模块规范性差、模块之间沟通有问题、数据增长迅速，对存储和算力消耗很多、数据质量差、延迟高、口径不统一，准确性无法保证 03 治理范围数据全链路，包括数据接入、数据平台产品、底层架构、数据仓库，数据可视化平台，指标口径等

5. 数据治理背景标准算力治理流程指标治理治理维度存储治理质量治理治理手段组织技术评估安全治理运营

6. 存储治理

7. 存储治理 - 现状及背景需求背景 1、数据增长速度加快，造成存储消耗成本成倍增加。 2、数据增长不可控，导致年度预算及存储无法稳定。 3、数据价值不可衡量，导致无法决策交付。 4、存储资源的浪费，导致集群成本增加。必要性&价值 1、建立数据增长预测及评估体系，实现数据增长可洞察 2、建立数据长效及应急治理体系，实现数据增长可控制 3、建立数据价值评估体系，实现资产价值可衡量 4、建立压缩及低成本存储架构体系，降低整体存储成本

8. 存储治理 - 目标 01 数据增长可控制建立数据增长预测、评估及监控体系，通过生命周期管理及规则治理实现数据存储治理自动化，针对异常增长实行专项或应急举措治理。 03 02 03 数据价值可衡量存储成本可降低通过资产盘点实现数据应用业务及服务划分，建立数据价值评估体系，针对不同价值数据进行分类存储保障及治理，并按照数据应用业务划分建立存储成本分摊机制根据数据价值及数据利用率建立数据周期性压缩机制，减少数据存储。通过调整冷数据存储介质减少机器成本。

9. 存储治理 - 解决方案运动式治理自动化治理智能化治理

10. 存储治理 – 全链路治理手段数据登记数据生产及采集上报数据采集数据处理数据输出罗盘终端上报 DP 离线接入数据仓库数据应用无效埋点业务埋点埋点过滤生命周期平台重复埋点推荐埋点 PID合并数据价值评估测试埋点搜索埋点维度合并数据资产目录盘点错误埋点 DSP埋点长度优化归档迁移 EC、压缩存储低价值应用治理低价值埋点服务埋点无效来源全量改增量层级改造 API合理性实时接入无效模型治理看板合理性模型合理性指标合理性无应用治理项目合理性业务系统 DataBus 测试数据异常增长检测业务重复校验无效数据小文件合并

11. 存储治理 - 生命周期管理现状分析与维度梳理数据生命周期配置与确认效果周知与反馈单表配置流程新建表强制配置已有表单配置配置生命周期配置确认周期配置排除分区选择生命周期标签自动清理自动清理批量表配置流程批量表维度管理表集管理规则配置确认流程成本周知效果回收

12. 存储治理 - 数据资产目录业务标准部门业务服务服务标准部门业务服务标准平台服务数据血缘业务及服务标准部门大数据分类标签资产目录

13. 存储治理 - 数据价值评估场景识别引擎 1. 进入 2.1 形成基于经验规则 l l l l 应用存储模型质量数据应用数据价值成功失败 2.2 进入计算模型 3 形成计算模型 l l l l 高价值中价值低价值无价值 l l l l 数据治理数据存储数据质量数据安全

14. 算力治理

15. 算力治理-问题分析 • • • • • • • • • 存量任务数量多、增长快，平台上有大量异常（或无效）任务新增任务无“查重”检测机制，平台存在冗余或相似任务存在没人使用（无价值）的任务，长期空跑平台缺乏任务治理产品数据倾斜等慢任务，缺乏诊断工具，优化工具计算引擎以MR/Tez为主，Spark引擎使用占比不足5%，算力利用效率不高缺少算力量化指标，任务价值量化算力使用粗放，资源成本意识弱算力使用需要精细化运营专项一：提高有效算力占比 ① 获取无效任务（异常、冗余） ② 建立治理规则引擎 ③ 效果评估 ④ 建立“识别-治理-分析”闭环产品专项二：提升平台计算资源利用效率 ① Hive->Spark迁移工程 ② hive优化诊断工具 ③ 任务分发 ④ 在离线混合部署专项三：建立算力增长可控体系 ① 算力量化、任务价值量化 ② 治理效果评估 ③ 算力/任务健康度监测 ④ 算力管理、资源拆分

16. 算力治理-整体架构提升有效算例占比用户问题任务优化报警推送系统核心任务保障任务白名单报警推送算力健康度监控看板相似任务合并功能调度功能工具提高算力能效重复计算缓存无效任务下线问题任务识别重复计算识别单任务诊断工具集群算力采集计算引擎升级算力量化 tez 任务价值量化相似任务识别调度策略编排链路任务诊断工具支撑底层功能核心任务保障任务日志收集 spark 任务日志解析数据来源在离线服务混部 API 数据地图奥丁 …… 在离线物理集群划分分时错峰复用资源

17. 算力治理-任务治理流程数据平台 l l l l l l l 日志数仓集市业务指标交换 Odin 识别引擎治理策略引擎收益模型（留下有效算力）（治理无效算力）（量化治理效果） 1. 进入 2.1 判定规则库失败 l l l l 成功 2.2 进入计算模型 3 判定识别模型下线修复优化合并 6.3 迭代 5 反馈 6.2 迭代治理闭环价值挖掘完善治理体系信息采集业务价值数据收集任务治理规则库沉淀模型治理规则库挖掘价值量化模型规则库迭代识别模型：相似模型、价值量化模型治理策略引擎：优化、合并策略开发收益模型（量化平台/团队/用户治理效果）用户参与/反馈机制用户参与规则、模型评测平台量化分析规则、计算模型效果评测价值分、健康分 l 用户 l 团队 l 平台（治理率、算力收益、健康分、价值分、等效成本）（价值分、相似度） 6.1 迭代算力量化 4 量化治理闭环系统（反馈机制）核心举措 P1 任务价值量化 P2 完善治理闭环 P3 冗余计算消除 P4 相似模型合并

18. 算力治理：HiveSQL向SparkSQL迁移

19. 算力治理：Hive优化诊断工具 Loading Data 耗时异常 File Merge 耗时异常输入超时任务ID 通过调度日志获取任务 Application id 通过Tez ui接口获取DAG列表等相关信息 Map 端数据倾斜 Reduce 端数据倾斜切片耗时异常重复使用大表根据问题类型选择优化策略

20. 算力治理：在离线混部

21. 算力治理-建立算力增长可控体系 1、全局视角：算力使用现状是否健康？ 2、什么时候该增加机器？说不清！ 3、增加多少机器？算力增长可控的四个阶段： L0-自然增长：无治理，算力不可量化 L1-初步可控：任务消耗算力可采集量化，实现治理产品闭环，算力成本可分摊（当前阶段） L2-中等可控：算力增长趋势可预估，算力价值可量化，计算效率大幅提升，算力扩容流程产品化 L3-完全可控：算力分配实现自动化弹性伸缩，任务的智能诊断与优化

22. 算力治理-健康度监测

23. 质量治理

24. 质量治理-整体架构标准流程数据标准定义数据标准落地系统稳定性标准标准版本管理故障定级标准设定产品系统/数仓组织数据监控流程质量值班流程数据/产品问题故障组数据治理组业务方运营评估故障定责机制质量红黑榜智能分析服务（IDAS）质量产品触达用户提高使用率数据小帮手大数据平台产研反馈、收集、跟进数据质量管理平台（DQMT）问题分析工具大数据委员会上线、迭代、测试SOP 提升数据质量意识质量分模型故障发生率系统稳定项目质量用户满意度质量治理全局效果检测

25. 质量治理-质量管理平台数据质量管理平台（DQMT）事中监控事前排查知识沉淀解决方案核心功能问题跟进事后分析隐患排查实时监控报警易用质量透明度质量分析质量日报监控大盘智能功能触达异常定位质量感知问题下钻

26. 质量治理-隐患排查数仓类变更依赖变更/上下线隐患定位架构类变更重大变更流程/评审/通知影响程度平台类变更系统稳定性指标监控定时报警全平台系统变更覆盖数据生产全场景隐患排查更实时

27. 质量治理-监控报警任务状态智能基线算法基线开始时间 + 未开始基线结束时间 + 未完成基线运行耗时 + 已开始多场景多频次 ◆ 小时级监控 ◆ 天级别监控 ◆ 阶段性趋势 & 多种监控策略 ◆ 超失败次数监控 ◆ 超基线buffer监控 ◆ 运行时间异常监控报警信息监控系统监控系统监控系统超基线未开始预估延迟时间运行耗时异常异常及时暴露问题及时定位累计趋势跟踪

28. 质量治理-质量分析项目数据质量报告产出时间延迟分析系统优化模型合理性+历史运行状况诊断： 1. 关键延迟链路，次要延迟链路 • 实际案例收集 • 模型跨层依赖 2. 各节点延迟贡献度 • 链路长度过长 3. 各类原因造成延迟度 • 解决方案沉淀 • 上游单节点耗时过长 • 新增较晚节点 • 链路空闲时间（时间触发/分发等待） • 上游节点耗时异常/失败重试 • 优化值班流程 ··· ··· • 时间触发/等待时长 • 完善产品功能

29. 质量治理-质量透明度质量日报监控大盘零散报警监控任务多平台数据质量整体感知项目整体质量无感知报警洪流质量问题逐层下钻 · 定位跟踪早报：今日项目产出是否异常，异常点定位项目延迟率晚报：全链路修改是否对次日产出有影响调度系统 databus 耗时异常率 DP 项目延迟度 kylin 项目质量问题统一定位汇总对于项目全链路修改，统一暴露次日问题隐患变更隐患率异常波动率 hadoop 指标平台 druid

30. 指标治理

31. 指标治理-背景体系化治理

32. 指标治理-整体框架业务口径统一流程规范约束实现成本控制保障数据质量可视化监控奥丁认证打标外部系统悬浮窗口监控系统页面通告服务层口径变更流程一站式指标开发平台逻辑变更流程指标模型变更约束服务层业务字典指标加工指标API 标准规范开发管理效率提升一致性准确性链路归因波动监测环比同比动态阈值固定值自定义范围业务归因指标查询监控指标认证指标注册监控大盘存储层 Kylin Kafka Doris Mysql 产品&流程技术层数仓模型变更数据回刷流程分析报告 Druid 贡献度算法皮尔森相关性系数 prophet Isolation forest 隐患检测预警指标下线流程 react 约束数据仓库业务方大数据平台监控数据治理组 springboot mybati s 大数据委员会组织结构

33. 指标治理-一站式指标平台 1 开发流程线上化 Ø 数仓规划 Ø 数仓建模 Ø 指标定义 Ø Cube建模 Ø 指标加工配置 3 2 注册认证线上化 Ø 注册配置 Ø 认证流程 Ø 指标发布审核流程生命周期管理线上化 Ø 模型生命周期 Ø Cube生命周期 Ø 指标生命周期 Ø 认证生命周期 5 4 指标订阅变更通知 Ø 口径变更通知 Ø 开发逻辑变更通知 Ø 检测链路变更通知

34. 指标治理-一站式指标平台奥丁可视化分析梅林、图灵、CA看板等数据产品 restful api 指标API 指标定义与管理指标查询指标缓存 …… Cube管理指标平台统一查询接口查询转换查询路由 …… 查询缓存熔断降级查询引擎（Query Engine) Apache Kylin Apache Druid OLAP引擎 HDFS/Hive Clickhouse Apache Doris

35. 指标治理-监控平台

36. 指标治理-准确性监控框架用户展示后端服务前端：生成异常波动分析报告报警推送指标异常监测+基础规则监控（自定义策略/智能异常检测算法）链路归因调度任务 Task 结果记录库 Task 业务归因（指标拆解、维度拆解） Task 结果记录库指标api 数据源 HIVE 元数据转为统一数据格式数据获取自定义SQL 结果记录库 KYLIN DRUID ODIN接口

37. 指标治理-一致性监控框架自动化监控｜指标全链路自定义监控指标名称一致性判别指标口径一致性判别指标数值一致性判别复合公式词库构建指标分词同义词匹配相似度计算自定义配置监控规则：数据关系、业务规则等数据关系趋势相关数量级其他倍数定时监控发送一致性监控报告

38. 安全治理

39. 安全治理-安全架构安全治理大数据安全专项数据安全管理制度大数据安全操作规范数据权限评审收敛数据加密方式升级数据外发权限管理异常行为审计数据落地可追溯

40. 安全治理-安全操作规范数据产生资产明确、安全定级、数据脱敏数据存储严禁 C3 、 C4 级敏感数据明文落地存储数据使用审批前置、最少必要、最小期限、数据脱敏、用户授权。

41. 安全治理-动态加解密敏感数据地图提高敏感数据识别准确率，建设隐私数据明文扫描与校准能力 KMS 密钥托管对密钥的生命周期进行管理，提供统一的使用接口，并实现权限管控、审计追溯等能力数据加密 1. 对称加密：下游解密出明文使用，动态 2. 哈希加密：检索、关联匹配使用，固定数据脱敏大数据脱敏能力的建设与运营覆盖手机号、身份证号、银行卡号、地址、邮箱五类隐私数据脱敏能力。

42. 安全治理-敏感数据处理服务 UDF 建设提供加密 / 解密 / 检索 / 转换 / 脱敏等多种敏感数据处理函数，方便用户使用权限管控对密钥的生命周期进行管理，提供统一的使用接口，并实现权限管控、审计追溯等能力多种输出方式 1. 对称加密：下游解密出明文使用，动态 2. 哈希加密：检索、关联匹配使用，固定

43. 安全治理-安全审计 DLP 部署审计平台平台职能和城市职能运营人员终端部署数据泄露防护产品大数据用户行为日志接入安全审计系统 01 周期批量下载数据 02 异常时间下载数据 03 直接使用敏感明文数据 04 敏感数据明文落地 05 与职位权限不符

44. 价值观 u责任心强 u对结果负责

45.