网易云音乐数据研发模式DataOps落地实践

1. 网易云音乐数据研发模式 DataOps落地实践网易云音乐 /宋东辉

2. 网易云音乐 /宋东辉资深测试开发工程师浙江大学硕士毕业之后，加入支付宝，参与蚂蚁端稳定性 Sapienz 项目建设，数字内容治理黑鸟项目核心成员，双12大促主要质量负责人之一。 2021年加入网易云音乐，云音乐大数据质量建设和数据治理负责人，发起并牵头多方共建 DataOps 项目，提升了数据研发效率和质量水位。

3. 1、背景简介目录 2、方案介绍 Contents 3、落地效果 4、未来展望

4. 1、背景简介

5. 大数据的重要性用户画像黑产推荐安全广告大数据平台会员曲库结算 AB 版权算法服务搜索商业分析核心指标

6. 大数据的框架客户端 DIM层用户日志系统日志服务端用户日志系统日志开放平台三方日志系统日志数据库 MySQL DDB 数据生产 ODS 层 BI平台 DWD层 DWS层 ADS层业务主题域1 分析主题域1 数据集市1 明细事实表1 明细事实表2 …… 明细事实表N 轻度汇总事实表1 轻度汇总事实表2 …… 轻度汇总事实表N 数据集市2 圈选平台数据消费机器学习平台数据集市3 业务主题域N 分析主题域1 明细事实表1 明细事实表2 …… 明细事实表N 重度汇总事实表1 重度汇总事实表2 …… 重度汇总事实表N 有数平台（网易数帆） AB实验平台数据集市N 数据服务平台

7. 大数据的痛点需求源埋点需求80+/月现状数据研发我就要这样子！商业分析明确数据领域定义数据指标构建维表核心KPI百+ 数据开发业务任务开发数据测试调度部署 A级以上活动重要C端业务痛点数据建模日均百+变更！数据消费算法主站搜索主站推荐 …… 指标不正确、数据未产出……客诉舆情！业务歌曲百科个人主页播客 …… 业务感知研发感知 • 数据线上问题平均10+个/月 • 线上问题平均解决时长高达44h • 需求延期交付比高达50% • 回刷数据计算成本单次万元级别 • 研发自测效率低，准出标准不清晰 • 线上问题感知滞后

8. 2、方案介绍

9. 2.1、数据研发标准

10. 数据研发标准需求文档数据模型文档分工&排期代码扫描测试数据&环境静态资源检测生命周期检测血缘检测监控检测数据用例检测门禁门禁门禁评估体系：研发周期、延期率、问题数需求阶段过程节点动作研发阶段测试阶段准出标准：覆盖率、规范性、数据质量生产阶段提需求模型设计开发数据测试发布运维建需求单需求评审项目排期设计指标设计模型基线评估模型开发调度配置监控配置血缘配置唯一性准确性完整性一致性及时性数据验收发布审批响应线上问题故障定级定责监控治理基线治理复盘&质量月报

11. 2.2、平台化

12. 平台化DataOps 整体框架卡点能力事后巡检研发效能目标：协调多方高效合作，辅助研发敏捷开发！研发周期长！效能大盘建需求单关联任务单线上问题增多！研发质量有提升！数据测试人力成本增加！通过告警跟进需求评审离线模型设计 &开发绑定任务 ods dwd dws select * from music_log ads 6点基线血缘检测代码检测同意发布风险审核监控告警生产卡点发布风险巡检 ods dwd dws ads 6点基线闭环治理 select * from music_log

13. 卡点自动化整体框架卡点能力事后巡检 pipeline 维度代码扫描静态检测血缘检测监控检测数据用例代码规范代码质量代码性能变更点提示调度配置血缘配置基线监控配置表&分区配置表&任务规范血缘关系链路基线风险依赖风险生命周期监控覆盖率监控误报率告警跟进率链路覆盖率用例成功率数据异常研发效能

14. 卡点自动化- 代码扫描整体框架卡点能力研发效能事后巡检代码规范类卡点维度 •代码质量分 •major问题规则配置代码治理通用规则配置 dataOps卡点数据线上问题规则沉淀自定义规则配置异常等级配置 •语法规范 •禁止创删表代码质量类 •select和插入字段名称不一致 •关联ON字段类型不一致代码性能类 •禁止select * •禁止DISTINCT 同步加载 •禁止分区表全表查代码信息代码规范结果分析扫描执行数仓代码规范研发阶段：开发自查风险模版卡点阶段：强制整改生成抽象语法树规则信息代码检测表元信息

15. 卡点自动化- 数据测试用例整体框架卡点维度用例治理数据用例 •用例覆盖率 dataOps卡点人工用例 •用例稳定性 •用例拦截问题数据线上问题用例沉淀& 优化事后巡检研发效能覆盖率不达标自生成用例模版用例拉取资源同步卡点能力变更任务源血缘DAG 风险识别最小执行集检测维度 •唯一性 •阈值 •空值率 •去重量 •长度范围 •分布趋势异常识别用例执行精准模版规则智能调度智能规则生成最小执行集模版用例自生成

16. 卡点自动化- 数据监控治理卡点维度 •核心指标覆盖率 •监控误报次数 •监控周跟进率整体框架核心域的表指标 dataOps卡点核心KPI指标数据线上问题 C端业务依赖指标指标体系用户会员覆盖率治理字段类 •完整性校验告警通知告警跟进流程告警质量大盘&月报平台化监控配置模版规则自定义规则版权内容监控优化监控平台研发效能事后巡检指标梳理监控治理同步卡点能力 •有效性校验 •唯一性 •范围校验跨字段类 •关联性校验跨表类 •一致性校验 •总量校验直播社区

17. 变更风险巡检 “轻量”变更，需要兜底！整体框架卡点能力事后巡检研发效能表变更类闭环治理规则配置 dataOps异常分析数据线上问题表规则规则沉淀研发反馈任务规则 •删除 •新建 •编辑任务变更类 •删除 •新增 •编辑静态资源 •编码表变更记录巡检平台平台化任务变更记录变更识别高风险变更识别定时调度风险通知变更匹配关联分析风险判定

18. 研发效能大盘可度量，才能优化它！整体框架评估原则指标体系全局规则指标大盘数据研发维度反映问题规则月报生产阶段维度服务度量目标规则需求交付维度数据研发维度生产阶段维度 •月需求量 •线下bug数 •线上bug数 •月需求延期量 •bug解决时长 •问题修复时长 •月需求延期率 •发布申请拒绝率 •表监控覆盖率 •月需求自测率 •月需求均交付周期事后巡检效能大盘需求交付维度分层级设计规则卡点能力研发效能

19. 3、落地效果

20. 落地效果研发效率 • 需求平均研发周期从39d->33d • 需求交付逾期率降低到30% 研发质量数据监控 • 数据线上问题降低 • 新增监控规则600+ • 业务质量意识提升 • 整体监控月度误报 • 研发规范意识提升 37% • 研发规范原因引起的线上问题量降低 50% • 线上问题平均解决时长从44h->9h 量下降30% • 拦截有效数据异常 32例 • 线上问题召回率约 70% 业务意识 • 服务态度改善

21. 4、未来展望

22. 未来展望源数据2 源数据1 数据聚合1 智能归因数据聚合2 业务维度1 异动智能感知 oneCode 难点源数据3 业务维度2 智能监控 • • • • 提升覆盖率工作量大人工规则监控误报量大业务变动频繁告警定位难难点思路 • 业务逻辑复杂 • 人工code效率低 • 表&指标规范 • ChatGPT的L2级辅助编码思路 • 构建智能监控模型 • 构建告警指标级归因

23. 致谢

24. 致谢舞台，从不是一个人的热闹！

25.