微盟数据治理中心的设计与实践

• 治理缺乏体系承载，缺少整体性的方案设计，没有找到问题的根本原因，在大量的治理项中难以判断优先级。
• 治理方法没有统一标准，缺少统一标准的流程管控，治理项的建设、治理流程、运营动作、治理效果等靠人为的经验判断。
• 治理效率低，治理过程中依赖的信息散落在各个系统中，在治理的过程中需要去各个模块中收集信息辅助判断，治理效率不高。

首先，整体环境是部署在 EMR 上，包括计算资源和存储资源，基础设施层面一方面需要提供治理项需要的底层引擎数据，另一方面承担了上游数据采集的技术支撑。平台工具层面主要是提供任务、表、数据服务、血缘等元数据，并且调度系统给治理数据的流转提供调度。数据采集层则将底层引擎数据和平台工具产生的数据收集、整合和加工，此过程也会将治理数据入到数据仓库，任务定时调度上报数据到治理中心。治理中心同时和平台工具对接打通，实现平台元数据的扩展、展示和管理。我们在治理中心划分了开发规范、稳定性、计算存储成本、安全治理等几大治理项类型，用于支撑上层不同的治理应用和场景。

数据治理中心框架  

数据治理体系是为了支撑制定开发规范、保障任务稳定性、降低计算存储成本和提高数据安全等各种治理活动的开展而建立的体系化、流程化的工具。数据治理中心框架则是实际数据治理规范落地的工具体现。

数据治理中心架构  

数据治理中心主要面向的用户是治理对象的直接负责人，负责人从自身的视角出发，需要了解为什么要治理、治理什么、怎么治理再到治理的怎么样的一站式能力。数据治理中心需要将这几点做的更加体系化、标准化、自动化。

• 负责人在接收到诸多治理问题后，往往无法第一时间判断治理项的重要程度，无法理清楚哪些是高优先级的治理项。
• 负责人在治理实施时，只知晓一个最终目标，比如需要将无用的表下线，却找不到下线表的标准流程。

• 治理数据采集：治理数据采集模块致力于收集和管理治理所需的数据、指标和元数据。这个模块可以帮助负责人更轻松地获取所需信息，减少繁琐的查询工作，从而提高治理效率。
• 治理工作台：治理工作台模块为负责人提供了一个集中的工作平台，用于执行和跟踪治理任务。这个模块有助于负责人更好地组织和管理治理工作，确保治理动作得以有效执行。
• 治理总览：治理总览模块为负责人提供了对整个数据治理项目的高层视角。通过此模块，负责人可以了解项目的整体状态、进展情况和成效。

• 开发规范：开发规范涉及到如何规范数据处理和分析的过程，以确保数据的一致性、可重复性和代码的可维护性。
• 稳定性：关注数据处理过长的稳定性，确保在海量的数据计算过程中具备可靠性、一定的容错性。
• 计算存储治理：这一分类侧重于最大化数据处理和存储的效率，以降低成本并优化资源利用。
• 安全治理：关注数据的隐私和安全性，确保数据在存储、处理和传输过程中受到适当的保护。

治理项模型  

• 治理项模型：对治理对象进行了分类，该模型可以包含各种元数据，如任务等级、任务开发组、项目组等，以及与治理项模板和治理对象之间的关联关系。
• 治理项模版：治理项模板是一个通用的规范或模式，定义了特定类型的治理项的通用属性和配置。这些模板可以被重复使用，以便在不同治理项之间保持一致性。一个治理项模板包括数据采集上报流程、限定范围、限定维度、配套的运营动作等。比如在 SLA 规范中不同的开发组、不同的任务等级可能会有不同 SLA 标准，但其中数据上报和运营动作是一致的，治理模版保证了此项治理项的一致性。
• 治理项：治理项是治理中心中的实际工作单元，它基于治理项模板并具有特定的属性和配置。每个治理项都代表了一个具体的治理任务，例如表名规范、注释规范、数据倾斜等。治理项包含了执行治理所需的信息和操作步骤。
• 治理对象：治理对象是治理项在具体数据资产、数据流程或数据操作上的体现。治理对象可以是某个具体的离线任务、实时任务、数据库表、数据文件、 API 接口等。每个治理对象都与一个治理项相关联，治理负责人对治理对象负责。
• 运营动作：配套的运营动作是指在治理项的整个生命周期中进行的操作，以确保治理任务的顺利执行和监控。这些运营动作包括：认领、处理、登记、结案、审批、白名单以及查看治理效果的报表。

治理项接入流程设计  

• 数据采集
• 定义需要上报到治理中心的治理项指标和信息，可能包括任务ID、任务名称、任务执行时长、任务失败率、数据倾斜程度等。
• 确定需要采集的数据来源或系统，例如执行引擎、元数据系统、调度系统等，将这部分数据通过数据集成或者接口上报的方式上报到治理中心。
• 治理项处理
• 治理中心接收上报的数据，存储到相应的数据库中。
• 不同的治理项模版走对应的数据处理流程，对治理项进行统一的数据扩充，保证数据一致性。
• 有些治理项动态配置了生效的范围或阈值，比如只对核心任务生效、任务执行时长大于1小时生效等，对原始数据进行过滤，将最终生成的治理项数据入库。

常见治理项   

治理实施流程  

• 治理目标制定：与业务部门、技术团队沟通，确保明确的治理目标，如降低成本多少、任务减少计算资源占用多少、确保数据安全性满足合规要求等。
• 指标设计：定义需要测量的指标，如任务执行时长、任务倾斜程度、安全事件次数等，明确每个指标的计算方法和数据来源。
• 治理SOP：制定治理项标准作业流程，明确每个治理项的具体责任人、执行步骤和影响范围，并且检查相应的研发标准规范是否完善。
• 数据采集：识别需要采集数据的数据来源和系统，设计数据采集程序，提取和收集与指标相关的数据，确保采集的数据准确性和完整性。
• 数据上报：对采集的数据进行清洗、转换和整合，以满足治理项的需要，将处理后的数据上报到数据治理中心。
• 治理工具：如果有必要则开发对应的治理工具，问题发生的事前、事中、事后几个阶段，选择合适的平台工具来支持治理项的执行和推进。工具涉及到SQLSCAN、回归测试系统、元数据系统、数据集成工具、数据质量工具、安全性工具等，可以作为治理实施过程的抓手。
• 治理运营：通过治理项配套的运营动作，如认领、处理、登记、结案、审批以及治理效果报表等，确保治理实施按照计划执行，治理对象得到适当的处理和管理。
• 治理成果：定期生成治理项的报告和可视化结果，展示治理的成果和效果。这有助于团队和管理层了解治理进展情况，并作出相应的决策。
• 知识沉淀：将在治理过程中获得的经验、最佳实践、问题解决方案等进行沉淀和整理，以便于日后的参考和复用。这有助于建立组织内部的治理知识库，促进持续改进治理方案和学习更好的治理办法。

治理工具