基于评估体系实现可持续治理
如果无法正常显示,请先停止浏览器的去广告插件。
1.
2.
3. 孙伟
快手
• 数据平台部 - 高级数据技术专家
阿里巴巴
• 数据技术及产品部 - 数据技术专家
百度
• 商业基础数据团队 - 数据研发工程师
4. 01 为什么需要数据治理?
02 怎么做好数据治理?
03 如何建设治理评估体系?
04 总结 & 展望
5. 缺失集成规范导致重复接入
数据集成记录丢失
不合理上报导致数据膨胀
数据变更引发质量问题
链路长不稳定、产出不及时
缺少监控规范,数据问题不能及时发现
缺少统一模型规范,烟囱建设
缺少指标定义管理规范,口径不一致
不合理生命周期管理,资源浪费
6. 数据
价值化
标准化
高质量
低成本
丰富
好用
7. 01 为什么需要数据治理?
02 怎么做好数据治理?
03 如何建设治理评估体系?
04 总结 & 展望
8. 如果无法度量,则无法治理
9. 统一资产管治平台:观象台
工具层
资产分析
数
资产度量
研发阶段
据
治
资产管理
能力层
理
资产治理
生产阶段
质量管理
服务阶段
模型规范 指标规范 质量监控 基线管理 服务质量监控
测试规范 发布管控 问题归因 预案管理 服务效率监控
组
织
据
治
理
运
数据治理评估体系
营
机
流
程
数
元数仓
标准化
生产域 资产域 质量域 标准域
资源域 服务域 安全域 组织域
模型设计规范 指标定义与管理规范 数据开发规范
质量管理规范
制
10. 01 为什么需要数据治理?
02 怎么做好数据治理?
03 如何建设治理评估体系?
04 总结 & 展望
11. 目标
问题标准化
资产可量化
过程策略化
运营有抓手
治理可持续
元
数
据
驱
动
资产健康分 得分策略
模型分 个人分
质量分
成本分
服务分
安全分
团队分
权重
策略
运
营
机
制
治
理
收
益
12. 问题
「标准」本身是否标准
服务层
应用层
系统分散口径不统一
元数仓报表门户
元
质量领域
成本领域
安全领域
服务领域
数
仓
时效性不够
历史数据缺少沉淀
元数仓宽表
公共层
生产域
资源域
资产域
服务域
质量域
安全域
标准域
组织域
建
设
标
准
规
范
数据源
技术元数据
业务元数据
13. 资产健康得分,由一级
分类得分加权得到
一级指标得分,由二级
指标加权得到
权重
模型分
二级指标得分,由三级
指标拟合得到
不同量纲
规范度
完整度
问题
治理反馈
复用度
权重
质量分
资产健康分
成本分
阶段侧重
数据准确
数据及时
无效存储 / 计算
异常存储 / 计算
服务分
安全分
Max-Min
数据好找
数据好用
建设合规
使用合规
解法
拟合百分制
变异系数法,权重自动 + 人
工调整
14. 提升意识
规范发布
定期宣讲
驱动治理
个人资产健康分榜单
团队资产健康分榜单
培训学习
规范考试
收益榜单
优秀评选
点亮徽章
资产健康分黑榜
模型分和质量分过低则不允许进行生产操作
运营抓手
激励
成本分过低则影响新增任务基线优先级
成本分过低则影响团队资源预算申请
15.
16. 标准化流程
Plan
DO
问题定义
问题量化 元数据驱动
治理方案 专项治理
自驱治理
Act
Check
资产健康分覆盖治理规则
量化目标持续监控
工具化手段提升治理效率
能力建设
完善标准
质量管理流程规范
模型设计规范
指标管理规范
成本管理规范
榜单持续运营
量化标准
资产质量分
资产成本分
工具化
数据源结构 / 内容监控工具
数据测试工具
数据发布规范检查工具
数据监控工具升级
运营 & 流程
质量分榜单、待治理问题榜单
横向质量小组
模型评审小组
数据质量考试
17. 01 为什么需要数据治理?
02 怎么做好数据治理?
03 如何建设治理评估体系?
04 总结 & 展望
18.
19. 最优的治理就是不需要治理,结合规范与治理评估体系,将
部分治理内容前置到生产环节中,例如数据测试工具、模型
管理工具、自动化监控配置工具等
打通系统边界,实现平台化一键治理能力,提高治理效率,
例如一键删除 / 下线表、一键改生命周期等
20.