网易基于DataOps的敏捷、高质量数据开发实践

如果无法正常显示，请先停止浏览器的去广告插件。

1. 网易基于DataOps的开发治理一体化实践郭忆 | 网易大数据 EasyData 产品技术负责人

3. 郭忆 • 网易数帆数据开发与管理平台 EasyData 产品负责人 • 研究生毕业于天津大学，计算机应用专业 • 加入网易12年，一直从事数据相关系统设计和研发 • 构建了网易数据中台支撑技术体系，支撑了网易云音乐、严选、传媒、有道的数据中台项目建设 • 多次受邀在全球互联网架构大会（GIAC）、全球开发者大会（QCon）、中国数据库大会（DTCC）、系统架构师大会（SACC）分享大数据建设实践经验 • 极客时间专栏《数据中台实战课》作者，订阅量超过21000+

4. Agenda • 网易数帆 • DataOps 1.0：敏捷、高质量开发实践 • DataOps 2.0：开发治理一体化实践 • DataOps 行业实践

5. 网易杭州研究院记忆科技音乐电商教育物流农业零售制造前瞻技术研究华夏银行传媒办公公共数据建设邮箱电力工具产品平台网易数帆教育金融公共技术研发医药数据建设方法论创新产品孵化

6. 网易数据生产力的实践历程 2006 分布式数据库、分布式文件系统、分布式搜索引擎，三驾马车支撑了网易互联网2.0时代的产品 2014 2018 大数据平台上线，加速了大数据网易严选、音乐、有道、规模化应用新闻等业务相继开始数据中台构建，网易发布 “全链路数据中台” 解决方案 2009 开始基于Hadoop做数据分析以及运维 2017 网易大数据正式对外商业化 2022 网易发布开发治理一体化“数据治理 2.0”解决方案 2020 网易实践“DataOps”，加速数据分析效率，提升数据开发质量

7. 数据生产力 • 数据生产力：广义上：通过使用数据带来组织生产力提升。狭义上：企业员工使用平台工具采集数据、处理数据，数据分析以及管理数据的能力。 • 一个愿景：人人用数据，时时用数据 • 三个方法论： DataOps、DataFusion、DataProduct

8. 产品矩阵机器学习有数BI CDP 数据门户可视化报表自助取数移动端数据填报交互式建模在线推理活动管理人群圈选智能决策驾驶舱数据准备数据大屏复杂报表可视化建模训练任务活动分析渠道触达模型设计中心数据服务数据标准元数据管理数据地图指标系统数据质量数据资产中心数据元元数据采集数据目录原子/派生稽核监控价值分析维度建模数据脱敏 API发布数据字典元数据注册数据检索版本管理质量报告成本分析量化评估安全等级服务编排数据分类元数据扫描资产门户指标字典强弱规则量化ROI 规范设计敏感识别服务权限标准发布元数据发布数据血缘指标关联质量工单数据下线发布审核权限申请服务监控数据安全基于DataOps 全生命周期数据开发数据集成 spark 任务运维数据测试数据开发 NDH Impala hive Yarn/K8s Arctic（实时数据湖） HDFS/S3 flink 自动化运维管理

9. 他们都在用网易大数据华泰证券杭州银行东北证券渣打银行浙江机电广发证券台州银行民生证券泰康资产五菱汽车国新证券华夏银行天风证券比心华夏银行长安汽车浙商银行恒丰银行北京银行江苏农信浙江日报浙交规广汽汽车吉利汽车南京大数据路特斯汽车中国能建投南方日报浙江移动记忆科技华存绿瘦好未来九州通杭州联合银行马上消费福建电力浙江电信科沃斯华福证券温氏集团

10. Agenda • 网易数帆 • DataOps 1.0：敏捷、高质量开发实践 • DataOps 2.0：开发治理一体化实践 • DataOps 行业实践

11. DataOps：血淋淋的教训按期交付率数据问题延期交付数据开发 65% 数据开发任务变更导致的生产环境 65% ！按期交付 30% 的需求交付延期数据问题占比达到 • 在某电商业务中，业务三单有礼，因为上游任务变更，导致下游涉及资损数据计算异常，造成P1级别>30W生产事故。 • 在某电商业务中，由于订单标签任务依赖配置缺失，导致下游任务空跑造成数据异常，给老客发了红包，造成P1级别> 20W的资损。

12. DataOps：为什么会出现这些问题？缺少全链路影响分析任务依赖复杂，严选有9540个任务依赖上游，下游任务有17层任务依赖，数据开发在变更任务的时候，根本不知道下游涉及的影响。缺少发布管控任务的发布缺少发布审核，涉及核心资产的任务变更缺少管控。任务发布上线更改随意，没有经过发布审核，Code Review相关环节，甚至核心任务变更，相关负责人都不知道。。缺少自动化数据测试任务依赖容易缺失任务变更缺少数据测试，因为缺少自动化工具的支撑，导致很多任务，未经过严格的数据测试，甚至有16% 的任务都未运行过，就提交上线，最终导致生产事故发生。任务依赖容易缺失，任务依赖配置复杂，很容易造成缺失，任务空跑，最终下游数据出错。

13. DataOps • DataOps是一种将软件工程CI/CD的方法融入数据开发的流程，基于自动化的数据测试、任务发布等技术，构建数据发布流水线，使得数据开发效率更高、交付更加频繁，交付质量更有保障。 • DataOps要解决的问题： • 研发过程中需求频繁变化 DataOps • 阶段性成果能够更快速的被验证 • 通过引入数据测试，将质量保障前置 • 敏捷、质量

14. DataOps：数据发布流水线 DataOps Continuous Integration 编码 Continuous Delivery 编排 Continuous Deployment 代码审查测试发布审核部署上线依赖调度 • 数据比对 • SQL Scan • 发布包 • 基于优先级资源调度智能任务依赖推荐 • 数据沙箱 • Code Reivew • 全链路影响分析 • 智能诊断 • 参数组 • 自动化回归 • 自定义审核流程 • 基线预警 • 资源组 • 数据形态探查 • SLA • 数据开发IDE • 多版本管理（含调度） • • UDF Studio • 任务模板（组件库） • • 效能工具 • 流程协作

15. 多环境一键发布

16. 数据沙箱开发平台 • 生产、测试物理集群隔离，互不影响调度集群 • 开发集群任务直接引用生产集群脱敏数据测试，不需要导数据 Yarn_Dev • 开发集群无法写入生产集群数据，避免生产集群数据被污染开发模式 • 开发集群和生产集群，一套代码，直接运行，不需要发布修改代码 HDFS_Dev Meta Store （共享元数据） Yarn 生产模式 HDFS

17. 数据测试 • 数据形态探查 • 值域 • 枚举值分布 • 空置比例 • 重复情况 • 最大长度/最小长度 • 数据比对 • 全量/抽样 • 主键关联/MD5关联

18. SQL Scan • 跨层依赖：dws/ads/dm 直接读取 ods 层表 • 全表扫，不带分区 • 使用固定分区 • 对明细表 lateral view explode • 关联 Key 应该至少是一个表的唯一键，避免笛卡尔积 SQL 静态扫描 • 避免使用 distinct，使用 group by 改写 • 避免出现多个 full join，full join 可以用 union all 优化 • 注意关联 Key 在关联各表内的分布情况，典型的情况是空值或者0值，避免数据倾斜 • 未使用压缩 • 禁止 select * • 临时表任务结束未删除自定义规则扩展……

19. Agenda • 网易数帆 • DataOps 1.0：敏捷、高质量开发实践 • DataOps 2.0：开发治理一体化实践 • DataOps 行业实践

20. 数据消费依然存在问题现象现象现象 • 37%的表存在命名不规范问题 • 数据开发自行开发所需数据表，公共 • 数据质量稽核规则覆盖率只有10% • 相同的字段，有8种以上的字段命名 • 没有定义数据的安全规范，数据分级逻辑未沉淀，重复建设多 • 近义指标膨胀 • 70%的相同数据项，稽核规则和/或阈值设置不一致分类无法得到实施原因分析原因分析原因分析 • 缺乏标准，建模随意 • 传统建模为了满足业务快速交付，开 • 质量稽核规则没有配置依据，依赖人发流程约束收效甚微规范缺失烟囱式数据架构员对数据的理解程度质量规则覆盖不佳

21. 数据开发与治理一体化先设计，后开发，先标准，后建模将数据治理的流程自然融入数据开发的全生命周期过程中，在数据开发的过程中就完成数据治理治理套件稽核规则定义稽核规则推荐字段类型、分类、数据格式规范表命名、分层分类字段类型映射规范（快速建表）数据处理规范（字段映射、按格式处理）数据安全规则开发套件安全中心数据质量安全等级安全规则资产等级质量规则数据测试报告发布审核数据标准元模型、词根数据元、数据字典资源分类引入或设计指标设计模型设计业务指标原子指标衍生指标复合指标维度事实模型关系设计阶段数据传输传输过程静态脱敏自助分析离线开发数据测试任务发布数据质量监控临时查询动态脱敏开发测试上线日常监控

22. 开发治理一体化：以数据标准为根本数据标准设计内容数据标准命名规范格式规范值域规范质量规范安全规范数据标准打通各模块的方式 • 通过数据元承载格式及值域规范并自动生成稽核规则 • 根据表绑定的数据标准所关联的稽核规则，自动添加到表的稽核监控 • 数据建模直接应用数据标准中数据元和元模型 • 根据表绑定的数据标准所关联的安全规则，自动应用到数据脱敏任务数据标准需求数据抽取数据探查数据建模数据安全数据开发数据质量任务发布持续运维

23. 开发治理一体化：以全生命周期元数据为底座全生命周期的元数据接受了来自设计、开发、消费过程中的所有元数据，让元数据更加完备，形成数据资产数据生命周期统一元数据找得到设计过程元数据数据抽取数据标准数据质量数据安全关联的标准模型定义安全等级 …… 开发过程元数据血缘物理表定义质量报告 …… 数据探查数据开发看得懂信得过消费过程元数据数据建模数据服务需求满足率资产活跃度用户评价 …… 管得了

24. 两种治理模式的对比传统治理模式先污染后治理 • 随着需求增多，口径不统一越严重运动式治理 • 缺统一衡量标准，价值难以度量 • 无持续优化机制一体化模式一步到位，长效解决

25. 开发治理一体化：网易落地成果规范效率质量 • 先标准后建模，确保了表、字段、指标命名 • 先设计后开发极大程度保证了公共层逻辑下沉 • 自动根据数据标准生成质量稽核规则 48.7% 的一致性及规范性 • 相同需求对应指标数量缩减 80% ，字段及指标的安全等级已完成 100% 设置 • 云音乐模型复用度从2.4%提升到 • 字段标准化率达到下线 3.4W 个模型 9.6% ， • 规则覆盖率达到率提升约 65% ，单个任务的配置效 70% • 严选质量覆盖率提升 100%

26. 开发治理一体化：给管理者的建议三个核心原则三大落地支撑 • 关注数据消费，成果可衡量，治理可改进 • 科学的评估体系：构建资产健康分，让治理价值可量化 • 开发治理一体化，保障数据流水线高质量运行 • 完善的工具平台：数据标准产品化 • 先设计，后开发，先标准，后建模 • 持续的数据运营：组织流程打通，数据文化建设

27. 数据文化

28. Agenda • 网易数帆 • DataOps 1.0：敏捷、高质量开发实践 • DataOps 2.0：开发治理一体化实践 • DataOps 行业实践

29. 浙江电信在引入网易一站式工具平台前面临问题： • 数据标准、数据质量与数据开发严重脱节，规范只能停留在字典层面，无法融入数据生产的流程中，不能有效的落地执行和监督。 • 不同厂商，不同工具之间严重割裂，数据质量的稽核规则无法和数据标准中数据元的值域约束打通，数据标准中数据元无法跟数据建模工具无法联动，元数据管理中的数据安全等级和安全中心的数据脱敏无法联动。思特奇调度工具开发工具鸿程数据血缘元数据管理亚信国信质量管理主数据管理其他多厂家、工具割裂鸿程思特奇国信亚信分公司其他 MPP调度智慧人力数据标签政企应用本地应用网络数据上传集团业务稽核精准营销星级维系网管采集 BSS数据万号数据 MSS数据资产落地 ……

30. 数据开发与治理一体化由数据中台统一为仓库、经分、网络集群提供数据采集、建模、开发、调度、治理等一体化能力。在生产过程中对于程序上下线，建表等操作实现在线化，流程化操作一方面减少人工提升效率，一方面完善数据管控的过程。生产流程审核上线 5-提交审核开发人员建立上线任务，提交审核 1-模型定义 2-构建表结构创建模型基础信息添加模型字段信息定义模型的元数据提供手工/批量方式管控流程程序测试程序开发模型设计与开发 3-编辑模型应用程序 4-数据在线测试 6-上线运行固化常用程序命令，拖拽式使用图形化界面，自由配置处理逻辑提供WEB界面可视化测试功能;查看执行时长、执行状态等信息，方便开发人员调试，性能分析运维人员审核通过，标准规范执行上线运行在上线时按照标准规范进行控制，包括命名规范，信息完整性，合理性等，不符合标准规范则不予上线将数据开发与数据治理有机结合起来，既是对开发过程的管控，也是保障数据质量的有效方法。数据中台已有用户数270+人，已迁移上线作业数8000+个，数据质量稽核数100+个，自助分析累计60000+次，已导入元数据模型数1500+套，具备作业调度和元数据统一管控能力。

31. 开发治理一体化：某券商落地成果治理目标：数据资产化、数据价值化、数据智能化三大痛点 • 标准：公司内数据孤岛现象严重，阻碍重要举措 • 数据内部共享 • 质量：数据质量难以及时满足业务预期， • 计7个词根新增159个，制定两套数据业务流程：针对存量数据、新增数据制数据统一管理 • 标准分类方案。 • 体化的数据中台数据质量管理：累计沉淀400余项数据质量规则。产品工具：将整个数据治理流程贯穿于各个子产品模块中，打造开发与治理一数据标准管理：基础数据标准179个，指标数据72个，搭建统一的公共字典合定不同的治理流程，并做到仓内仓外元安全：难以兼顾数据流通和数据安全的平衡 • 置落实数据治理工作、权责分担机制无法助力数据挖掘产生价值 • 组织架构：结合企业组织架构及人员配落地成果（截至2022年） • 数据安全管理：基于数据分级分类的数据服务审批流程上线，基于脱敏数据在开发环境进行开发和任务发布的研发流程打通。

32. Thank You