数据资产，盟之实践治理
一、前言
二、背景
1、现状
数据资产缺乏统一的元数据标准，各业务系统数据互不相通，系统间数据整合成本高。 核心数据资产目录不清晰，重要数据资产无法有效识别，关键数据资产难以可控。 数据资产业务归属不明确，数据资产管理职责混乱，影响管理效率。 缺乏数据资产安全管理规范，数据资产安全事件时有发生。 数据资产共享效率低下，数据资产重复建设问题严重。 缺乏对数据资产价值的评估体系，部分数据资产开发利用不足。
2、痛点
创建和开发负责人无法对应上，造成管理漏洞； 业务负责人几乎为空，无法明确数据业务用途；
缺失业务描述，导致数据 isolate 严重；
表概要不全：数据资产管理时无法快速定位表的业务属性，进行分类统计和价值评估困难； 表字段信息不足：缺失字段注释，使用人员无法理解字段含义，提高数据理解难度； 存储信息不足：分区信息缺失；生命周期信息缺失，旧数据无法 archive ，增加存储成本； 权限信息不准确：权限记录存在脱漏，导致部分用户可以访问未授权数据；
无法审计跟踪元数据变更操作，可能被非授权人员修改元数据； 类型变更可能导致数据错误，而无法快速定位变更点；
缺少应用层血缘无法进行端到端影响分析，问题定位困难； 逻辑流程无法还原，开发调试效率低下；
数据销毁风险，重要依赖的下游使用者无法获知； 异常根因分析错误，扩散影响面，损失扩大；
血缘数据无法导出报表，无法 chimping 分析； 无属主信息无法联系业务负责人，问题沟通成本高；
无法精确定位影响字段，需要全表检索对比，效率低下； 字段关联关系复杂，代码级血缘无法还原； 字段级依赖隐藏风险点多，问题排查困难；
命名过长或无语义，增加记忆成本； 不同报表间同指标名称不一致，误导分析；
来源表字段缺失，无法回溯指标计算； 依赖多表联动，链路不明确，质量问题难定位；
业务描述缺失，指标意义不明，分析误用风险； 统计口径不一致，导致指标值无法比较； 缺少计算公式、业务逻辑，维护难度加大； 无明确阈值条件，判断指标异常困难； 未记录指标变化原因，波动幅度大时难以判定；
无法评估指标价值，优化报表内容； 访问用户和场景信息缺失，无法针对性优化；
用户和开发人员缺少成本意识，浪费问题难以遏制； 无成本分析报表，管理者无法全局监控成本使用效率；
三、治理体系
2、框架设计
技术元数据：技术元数据是结构化处理后的数据，方便计算机或数据库对数据进行识别、存储、传输和交换。常见的技术元数据有： 物理数据如库表名称、列名称、字段长度、字段类型、约束信息等；
数据存储类型、位置、数据存储文件格式或数据压缩类型、行数、大小等；
关联任务ID、数据更新频率、质量监控等；
业务元数据：业务元数据描述业务含义、业务规则等。常见的业务元数据有： 业务定义、业务术语解释等；
业务指标名称、计算口径、衍生指标等；
数据的安全或敏感级别等。
操作元数据：操作元数据描述数据的操作属性。常见的操作元数据有： 数据所有者、使用者等；
数据访问个人权限、组权限等；
数据 DDL 变更操作日志等；
标签管理：通过同步表对应任务的标签管理，实现对表分类管理。 血缘分析：支持全链路血缘探查能力追根朔源，分析链路影响范围。 词根管理：通过对词根统一管理，让数据研发和业务分析在开发和使用数据中达成理解的一致，保证沟通顺畅。 指标管理：实现对原子指标、衍生指标、复合指标的指标名称、业务口径、计算逻辑、负责人等统一规范管理。
数据地图：支持用户根据表名、表字段进行全文检索，快速定位，且呈现一些基础的技术、操作元数据信息，如表描述、开发 ower、所属业务线、关联任务、访问热度等信息。 集市矩阵：通过开发组、主题域形成数据矩阵，有方向的引导用户查找所需要的数据表。 热度分析：包含库表的元数据访问次数、数据分析访问次数。 影响分析：可以快速了解数据可能影响的下游范围。
生命周期管理：以表热度分析为依据，对表做生命周期管理，用最少的存储成本满足业务需求，实现数据价值最大化。 成本分析：成本分为存储成本和计算成本，存储成本是指数据表消耗的存储资源，计算成本是指数据计算过程中的CPU消耗资源。
通过盘点数据资产现状，了解资产管理能力，明确资产治理的目标； 通过资产现状和需求收集，评估资产治理的诉求，制定可行性执行计划； 具体交付：数据资产治理现状评估；
通过结合行业标准化实践定制标准对公司存量数据进行治理； 通过治理标准结合现有平台工具的管理能力提出治理诉求并推进落实计划； 具体交付：数据治理List；
具体交付：存储分析、元数据分析；
具体交付：资产分析报告；
完善表属主，并持续监控无属主表 完善表描述信息 完善表字段信息 补充表与任务关系 增加必填项数据结构配置，涵盖字段是否支持空值、是否主键、是否需要码值等信息 补充存储信息 库/表访问热度
四、总结与展望