1. 腾讯游戏数据治理 最佳实践 演讲人-陈龙-腾讯-游戏数据资产服务负责人 DataFunSummit # 2023

2. 目录 01 从数据之痛说起 ——数据治理背景与目标 04 02 数据在哪儿，该怎么用？ ——资产化建设与使用 如何用最低的成本生产数据？ ——数据开发规范与成本优化 05 03 数据质量如何保证？ ——数据质量管理与分析 如何保证数据安全？ ——安全规范与风险管理

3. 从数据之痛说起：数据治理背景与目标 Ø为什么要做数据治理？ Ø数据治理能够带来什么？ Ø数据治理工作如何开展？

4. 为什么要做数据治理？——来自数据使用一线的声音 新人做商业化分析，如何能够理解报表中数据指标的含义？ 要做XXX活动分析，从哪里获取数据，如何申请权限？ 游戏品类数据有缺失，用户数也是异常，该找谁？ 我从小C处看到的数据为什么和你的不一样？ 关于数据，这些熟悉的声音…… 快快快，老板要看个数，帮忙看看逻辑对么？ 这个是我们项目敏感数据，有哪些人有权限？ A同学已经转岗，为什么数据权限还在？ 哥，这个数从哪个日志表取？ 数据服务投入这么多，有什么价值？

5. 腾讯游戏数据发展 ——数据链路技术组件现状 计算与存储板块 采集板块 应用板块 实时数据流：活动/分析/游戏支撑，kafka/storm/flink/tendis… 获取层 消息队 列 流计算引擎 标准化引擎 APP：应用层 Redis RDBMS HTTP Druid 用户隐私 动态关联引擎 CK 数据通道 TDM/TGLog 治理板块 数据可视化 查询调度引擎 离线数据流：增长/画像/买量/大盘，HDFS/Hive/PG/SR… 获取层 ETL工具 TDBank组件 实时服务 触发引擎 ES 规则引擎 DMP 数据采集 处理层 DWD：明细服务层 ODS层数据清洗 格式标准化 数据标准化 格式转换 数据入库 预聚合 质量校验 数据对账 位图，行列转化等 DWS：汇总服务层 数据主题统计 宽表构造 对接OLAP ADS：分析层 活动分析 画像系统 推荐系统 分析模型 数据分发 数据治理管理平台：数据资产的全面纳管与精细化运营 数据报表

6. 为什么要做数据治理？ ——解决不同角色不同阶段的困惑 数据全生命周期流程 数据接入 数据计算 特征工程 数据建模 数据分析 数据展示 开发同学 数据科学同学 产品同学/运营同学 l 数据表太多，信息传递依赖口口 l 特征多、复用少，新模型开发效 l 报表多，数据口径对不上，导致 相传； 能较低，共享困难； l 数据仓库库表不透明，找不到想 要的数据； 精力进行梳理； l 数据血缘与数据计算逻辑不清楚， 可信度不高 l 数据可信度需要花费大量的时间 l 大量穿透式日志表计算，造成人 力成本、资源成本的浪费； 分析结论不正确； l 需求多排期慢，产品分析需求依 赖开发排期； l 数据安全得不到保障，数据下载 到本地分析，容易数据泄露； 数据使用难，建设成本高，需求实现慢，安全风险大

7. 数据治理是什么？—— 通过挖矿的人，让石头变成金子 数据治理（data governance）指是组织中涉及数据使用、规划、控制和提供数据及信息资产的一组业务职能：包括开发、执行和监督有关 数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、交付和提高数据资产的价值。 狭义的数据治理：基于元数据管理，辐射到数据生命周期、安全、质量的管理。 广义的数据治理：从数据标准的制定开始，覆盖数据建模、开发、管理、运营全流程。 数据开发 数仓规划设计 从标准 开始 数据模型设计 元数据管理 数据标准 元数据仓库 技术元数据 运维调度 组织 数据全生命管理 业务元数据 数据开发 主数据管理 数据运营 数据管理（狭义） 角色 资 产 目 录 数 据 血 缘 数据治理组织 数据标签体系 数 据 治 理 评 价 及 优 化 数据安全管理 数据运营 数据质量管理 制度 数据指标治理 流程

8. 具体怎么做数据治理？ ——围绕“提升数据可用率”的目标 数据资产建设 数据检索 数据质量保障 数据成本优化 数据开发规范 数据质量规则库 严禁 数据泄露 质量规则挂载 数据地图 计算资源 数据血缘 资产维护 数据安全管控 存储资源 严禁 违规授权 数据规则完善 质量问题分析 成本监控分析 全链路数据 安全审计

9. 数据在哪儿，怎么用？ ——资产化建设与使用 Ø什么是数据资产化建设？ Ø数据资产使用需求如何梳理？ Ø如何使用工具让数据检索更便捷？

10. 资产建设 质量保障 成本优化 安全红线 数据资产化建设的目标—— 让数据可查、可用、可信 数据资产化，就是让数据像图书馆的书一样，能够被查询、被借阅、被学习 可 查 提升数据复用率 可 用 实现敏捷自助服务 可 信 快速定位错误 提升数据分析效率 提升数据透明化 提升数据可信度

11. 资产建设 质量保障 成本优化 安全红线 举个例子讲，数据资产具体如何在工作中使用？ 案例背景：小A接到了一个分析需求，希望按玩家年龄段、地图、各模式的近7天对局玩家数与总胜利局玩家数做分析 请问，小A应该如何快速的从数据资产中，找到合适的数据，进行分析呢？ 数据需求拆解 1.找数据 2.选数据 3.用数据 为了解决问题，小A需要 小A的困惑 • 指标库里这么多，我应该用哪一个？ ü 理解数据目录，学会结构化拆解数据需求 • 数据我从哪儿找，能找到我要的这个？ ü 学会统一命名，关键词搜索数据更精准 • 数据是什么口径？是否包含测试服数据？ • 数据在哪些场景使用？最近是否更新？ • 玩家年龄段的定义？是否可以手工调整？ • 数据是从哪里来的，通过哪个日志文件上报？ • 数据的具体问题我能找谁？ • • • 理解清晰明确的内容口径定义 • 理解完整的表资产关联与质量标记 • 会看准确的血缘展示与上下游分析 • 有疑问能够快速的找到指定责任人 这个数据如何申请权限，需要到谁审批？ • 知道库表位置，及如何权限申请 有没有实时接口可以调用？ • 会查看数据服务接口与调用方式 学 会 平 台 操 作

12. 资产建设 质量保障 成本优化 安全红线 1.找数据—— 理解指标模型标准，将数据需求做结构化的拆解，检索更高效！ 案例：按年龄段、地图、各模式的近7天对局玩家数与总胜利玩家数做分析 解法：通过指标模型拆解成结构化的数据需求，能更精准的通过关键词进行数据检索，并充分预留数据需求的可变性。 ① 小A案例拆解的指标模型示范： 业务板块 ①业务板块：XX游戏 ② ③ 数据域 玩法域、活跃域、流水域、角色社交域、渠道域、行为域等 维度实体 ③维度实体：玩家、角色、地图 ⑤ ④ 业务过程 ②数据域：玩法域 ④业务过程：对局 业务限定 ü 原子指标：对局玩家数 ⑤业务限定：对局玩家数 基础 维度 维度 属性 派生 维度 度量 原子指标 时间周期 修饰词 （多个） （派生指标=原子指标+时间周期+修饰词） ，维度（基础/派生），计算逻辑 ü 修饰词：对局结果=胜利 ü 时间周期：近7天 ü 维度：玩家、模式、地图

13. 资产建设 质量保障 1.找数据—— 通过指标模型，将数据需求做结构化拆解 案例：按玩家年龄段、地图、各模式的近7天对局玩家数与总胜利玩家数做分析 标准的需求文档，为我们的资产检索开了一个好头儿！ 成本优化 安全红线

14. 资产建设 质量保障 成本优化 安全红线 1.找数据—— 统一的数据命名，才能让检索高效又精准 案例：按玩家年龄段、地图、各模式的近7天对局玩家数与总胜利玩家数做分析 新的挑战：明明上一步按指标模型拆解了需求，但还是搜不到？ ——数据命名不规范，难检索！ 如何统一数据命名？ • 从字根源头对数据标准化定义进行规范，统一 定义语言，统一数据解释标准。 • 字段命名、表命名遵守规范，在数据诞生初期 就要满足标准。 指标唯一性命名原则： •中文名：时间周期 + [统计维度] + [业务限定] + 带上计算逻辑原子指标（比如“对局数”，计算逻辑是count，原子指标是“对局id”） •英文名：[业务限定英文] + 原子指标英文名 + 时间周期(3位，如 _1d) + 序号(4位，如 _001)

15. 资产建设 质量保障 2.选数据： 如何在数据治理系统里对检索到的数据进行判断？ 1、治理平台-元数据检索，根据关键描述“对局”和 “gametypeid”字段找到所需数据表 3、基于找到所需表，设计数据开发分析 2、查看表字段详情是否符合开发需求 成本优化 安全红线

16. 资产建设 2.选数据： 如何进行查询数据血缘详情？ 点是“表”可以查看DDL 线是“SQL”可以查看逻辑 面是“LZ画布”可以查看血缘 质量保障 成本优化 安全红线

17. 资产建设 质量保障 成本优化 3.用数据： 通过治理平台“资产检索” 功能，可进行各类数据资产查询 数据检索 TDW 、Mysql 、StarRocks等数据类型 服务检索 应用检索 画像/特性等数据接口服务 社交/对局等报表分析应用 治理平台资产检索包含数据库表类、服务类、应用类等各类型资产，提供全类型资产的多维 度检索能力，帮助用户快速查找资产，发现沉淀的数据价值！ 安全红线

18. 资产建设 3.用数据： 资产权限一站式申请，可按需申请权限走审批 每个数据都具有严格的分类分级标准，对于不同密级的审批流程也不一样， 所以在选完数据后，还要根据需求情况进行数据权限申请与审批。 质量保障 成本优化 安全红线

19. 数据质量如何保证？ ——数据监控与质量分析 Ø数据质量要解决什么问题？ Ø数据质量问题如何发现并处置？ Ø数据质量分析的重点有哪些？

20. 资产建设 质量保障 成本优化 安全红线 数据质量要解决什么问题？ ——做好全链路数据的可信度提升 不敢用，需反复校验确认 数据准备时间超过60% 数据分析 报表间数据矛盾 看不懂数，口径不能理解 数据｜服务｜应用 报表/字段不敢用 数据产品 离线链路 数据处理链路复杂，关联多 实时链路 中间表没注释，不知道逻辑 数据仓库 游戏日志 业务系统 数据采集 数据可信度标签 外部采集 质量问题处置与分析 质量问题发现 脏数据太多 部分字段数据缺失 数据资产化

21. 资产建设 质量保障 成本优化 安全红线 如何提升数据可信度？ ——数据质量PDCA闭环管理 一罐好奶粉，全流程质量追溯…… 数据可信度 持续提升 全链路数据质量，就是对数据运行过程进行检查，以保障任意节点的数据结果可信。 策划(Planning) 实施(Do) 检查(Cheek) 数据可信度标签 1 数据质量规则库 2 质量问题处置与分析 质量问题发现 数据质量规则配置 处置或改进(Action) 4 数据质量问题分析 3 数据质量监控结果

22. 资产建设 质量保障 成本优化 安全红线 质量规则库—— 数据质量监控的规则是什么？ 表级 监控规则 分层 规则 扩展 数据及时性 字段级 非法值 其他 自定义规则 数据记录数 重复值 数据一致性 空值 数据波动 SQL、Python、代码包 关联指标数据波动趋势 单维度的指标异动归因 多维度的指标异动归因 维度枚举值指标波动校验 多渠道数据平衡等式校验 ……… 数据质量规则库的完善，是数据结果有效性和准确性的根基，需要业务侧与技术侧共同完善！

23. 资产建设 质量保障 成本优化 质量监控结果—— 如何做好质量问题的处置？ 1）游戏日志缺失… 2）数据对账异常… 3）数据更新延迟… 4）计算资源超负载… 研判 5）数据指标波动… 6）数据写入错误… 第一步 n 数据指标评级 任务等待 n 质量规则评级 任务重跑 n 异常影响评级 处置 处置 应急旁支 n 数据链路评级 异常保留 n 应急响应评级 …… 第二步 安全红线

24. 资产建设 质量保障 成本优化 质量问题分析—— 可信度标签体系与基于血缘的全链路质量追溯 Ø 数据资产视角： 数据管理、数据工程人员 • 数据质量分析报告 数据质量报告，为数据管理与负责人提供数据质量问题概览及库表级的数据质量 情况的展示； • 数据质量问题的结构、对比、趋势的统计分析，并以数据可用率为核心指标，对 质量问题的处置率、复发率进行重点关注； • 构建数据资产可信度标签体系，对每一个库表对象进行标注，方便数据分析人员 的使用. Ø 数据链路视角： 数据工程、数据分析人员 • 通过元数据血缘功能实现全链路可视化，能够对端到端数据链路进行状态监测与 问题分析； • 正向影响分析，通过当前节点向上游进行血缘查找，看数据都在哪些场景或分析 报表中使用，以此定位质量问题影响范围； • 反向溯源分析，通过当前节点向下游进行血缘查找，辅助数据工程人员精准定位 问题，并进行质量问题查找与解决. 数据质量溯源分析 安全红线

25. 资产建设 质量保障 成本优化 数据可信度的提升依赖数据质量体系的完整 数据可信度提升 解决业务数据质量事前预防、事中跟踪、事后总结的全闭环管理 规则 建立 数据质量规则库 及时性规则 完整性规则 唯一性规则 异常波动规则 系统 配置 通过一套平台承载 数据质量管理 规则库与处理逻辑 沉淀 数据链路流程 锚点 数据链路异常 告警 问题跟踪反馈 平台 质量 监控 日常质量监控运行 数据质量报告 异常影响分析 质量问题归因收敛 质量问题闭环跟踪 问题 分析 数据质量问题复 盘，责权划分 数据质量分析 数据质量规则修订 数据链路流程优化 质量规则优化 安全红线

26. 如何用最低成本生产数据？ ——数据开发规范与成本优化 Ø数据成本由哪些构成？ Ø数据开发规范是什么？ Ø数据成本优化点有哪些？

27. 资产建设 质量保障 成本优化 安全红线 数据成本从何而来？ 从数据采集到结果产出，数据全链路过程中都会产生成本！ 消息队列 获取层 流计算引擎 DW：集市层 ADS：应用层 场景化干预 服务 数据标准化 RDBMS 游戏功能 服务 DMP 数据采集 数 据 全 链 路 文件采集 数据通道 TGLog TDBank组件 3-数据存储 格式转换 推荐系统 质量校验 任务系统 格式标准化 数据对账 1-数据采集 触发引擎 tglog\logtool等会产生采集成本 Tdw\PG\MySQL等数据存储都会产生成本 OLAP …….. 预聚合 查询调度引擎 分析模型 2-数据消费与传输 kafka\storm\redis等数据传输、消费与存储成本 4-数据计算 调度任务等数据计算链路产生大量成本

28. 资产建设 质量保障 成本优化 数据成本管理规范 ——定期回顾清理 1-按需设置数据生命周期，定期回顾 不符合 规范案例 案例一：某员工所开发数据均为永久存储 2-无效、错误、冗余链路回顾与清理 案例二：某分析同学多个无效链路空跑不清理 某数据科学员工因缺少成本意识，对某 某员工的数据分析开中的计算链路一直堆 游戏的拉新活动数据生命周期设置为永久存 砌生产，对于开发过程中所出现的链路失败任 储，大量历史无效数据占用存储资源，月成 务、库表权限过期等异常缺乏清理机制，造成 本超XX万以上。 计算资源的浪费。 1、业务的数据做好分级按需设置生命周期，切勿所有数据永久存储占用资源 2、对于无效、错误链路定期清理，保障数据计算的有效性。 违规案例 优化建议 安全红线

29. 资产建设 质量保障 成本优化 数据成本管理规范 ——按需使用与回收 3-资源池按需使用、杜绝使用率高利用率低 不符合 规范案例 案例三：计算资源配置不合理 某数据工程同学，因缺少对任务执行的资 源判断，在任务配置时，都按照最高资源进行 锁定，并且该任务运行时间配置在高峰期，在 资源使用回溯时发现，该任务的资源利用率极 低，且业务使用频率不高。 4-退市业务、下线活动资源回收 案例四：节日庆典活动活动下线数据未回收 某游戏为应对在春节晚高峰期流量，申 请大量存储、计算、kafka、带宽等资源扩 容，在节日高峰期过后，未缩容释放，导致 资源利用率及低，机器空跑。 1、对资源使用时，需根据业务场景和运行情况进行预估，并按需使用资源。 2、业务退市、活动下线自查使用资源，按照流程，及时清理相关的资源，杜绝资源浪费 违规案例 优化建议 安全红线

30. 资产建设 慢SQL监控治理 质量保障 成本优化 安全红线 数据成本管理规范 ——常态化慢SQL治理 5-开发规范及开发质量的治理，从根源对成本合理性进行处置 事前预防 开发规范闭环机制 p 历史慢SQL包袱重 p 对慢SQL重视不足，主 动排查慢SQL意识弱 p 慢SQL发现与治理机制 不健全。 • 慢SQL推 送告警 • 慢SQL检 测 事中发现 事中治理 事后评价 • 慢SQL治理 效果验收、 慢SQL的问题发现 p 数据开发水平参差不齐， 缺乏统一规范控制。 p 执行过程中无监控手段， 不能及时预警。 p 事后排查处理成本高。 • 结合预制 规则算法 给出优化 案例 慢SQL的问题处置 p 缺少慢SQL界定标准和 无法快速定位。 p 开发人员对SQL优化没 有思路和方案。 p 缺少常见案例、知识库 评价 缺少多维度统计分析与 展示 p 缺少慢SQL相关统计 信息收集与展示 p 缺少慢SQL治理报告 总结 积累。 数据管理 数据分析 数据分析 定期推送 / 沉淀知识库 / 反哺慢SQL 数据管理

31. 资产建设 质量保障 成本优化 依据成本管理规范，定期回顾，成本优化自查建议 序号 任务分类 1 数据表的生命 周期配置 2 近 12 月无访问 库表 3 退市业务计算 任务及数据清 理 4 下线活动计算 任务及数据清 理 5 无效任务及数 据清理（含冗 余） 6 任务运营资产 占用分布 7 计算资源池利 用率评估与处 置 8 SQL 优化 任务描述 面向角色 表开发人评估生命周期合理范围 数据工程 通过数据表热度和被访问分区进行优化 数据工程 库表使用场景及覆盖业务梳理 数据工程、数据分析、数据科学 无访问情况说明，有用的保留 数据分析、数据科学 无用的库表设置为 3 天生命周期或手动清理 数据工程 整体链路分析，相关洛子任务与库表梳理 数据工程、数据分析、数据科学 ODS 原始表不动，中间表设置为 3 天生命周期或手动清理 数据工程 整体链路分析，相关洛子任务与库表梳理 数据工程、数据分析、数据科学 平台上冻结相关洛子任务 数据工程 ODS 原始表不动，中间表设置为 7 天生命周期或手动清理 数据工程 失败链路下游节点所涉及的计算任务及库表梳理 数据工程、数据分析、数据科学 平台上冻结相关洛子任务 数据工程 库表设置为 3 天生命周期或手动清理 数据工程 高峰期（ 0-4 点）任务清单，对任务进行分级（重要 / 非重要） 数据工程、数据分析、数据科学 对任务启动时间进行优化，非重要任务避免高峰期运行 数据工程、数据分析、数据科学 一类：平均利用率低于 20% ，峰值（ 75% ）利用率利用率不超过 1 小时清单梳理，计算资源缩减建议 70% 二类：平均利用率低于 20% ，峰值（ 75% ）利用率利用率不超过 2 小时清单梳理，计算资源缩减建议 60% 三类：平均利用率低于 50% ，峰值（ 75% ）利用率利用率不超过 1 小时清单梳理，计算资源缩减建议 50% 四类：平均利用率低于 50% ，峰值（ 75% ）利用率利用率不超过 2 小时清单梳理，计算资源缩减建议 40% 五类：平均利用率低于 50% ，峰值（ 75% ）利用率利用率不超过 4 小时清单梳理，计算资源缩减建议 20% 数据工程、数据分析、数据科学 资源池高消耗 SQL 任务榜单 TOP20 数据工程、数据分析、数据科学 SQL 优化专家组进行评估合理性及优化建议 数据工程、数据分析、数据科学 安全红线

32. 数据安全规范与风险管理 Ø准备：数据治理管理制度建立 Ø执行：数据安全意识时刻注意 Ø复盘：数据安全审计与分析

33. 资产建设 质量保障 成本优化 安全红线 安全保障——数据管理制度建立 《数据治理管理规范》XX年XX月发文 采集 采集合规 SDK 传输 存储 加密传输 加密 脱敏 备份 使用 权限控制 脱敏 下载限制 审计 共享 脱敏 审批 审计 销毁 权限控制 脱敏 下载限制 审计 全生命周期安全防护 数据分类分级 分类分级 个人数据 L4->L3->L2->L1 企业数据 业务关键数据- >业务敏感数据 ->聚合统计指标 ->市场公开数据 数据管理要求 基本 管理 原则 u 遵循数据授权、使用要求：最小化授权、不二次授权、严禁数据泄露、 使用审计 u 所有数据采集、传输、存储、应用都必须使用数据治理平台提供或授 权的组件，严禁私搭

34. 资产建设 质量保障 成本优化 安全红线 安全意识——时刻注意数据安全 严禁违规授权 私自共享数据/私建数据链路/账号转借 案例一：个人开发页面未做权限 案例二：未控制范围的转发 案例三：办公电脑账号转借 某员工将个人开发页面发至内网论 某员工将个人报表查看到的数据， 某员工因临时有事，没有带办公电 坛，页面可访问业务数据，未做权 通过截图的方式分享多人群中，未 脑回家，但为处理紧急工作，将自 限管控，导致所有人可访问到数据， 对该群人员范围进行评估，导致跨 违规案例 存在数据泄露风险。 业务数据存在泄露风险 。 己电脑密码告知其它同事代为处理， 导致数据存在安全隐患。 1、所有数据均必须按照授权审批流程进行管理，涉及数据审批必须接入权限系统。 2、所有数据在使用后需立即销毁，不做二次共享转发，严格控制权限。 3、严格控制数据链路的出口，相关开发需严格报备审批流程。 4、权限申请需要在数据治理平台进行统一申报，平台提供一站式处置服务。 违规案例 安全建议

35. 资产建设 安全审计——让数据管理有迹可循 l 数据安全监控审计 对数据安全做全面防护，监控 数据操作行为，对异常行为进 行风险处置 l 敏感数据操作场景 ü 异常权限监控 ü 数据下载监控 ü 敏感数据操作 …… 质量保障 成本优化 安全红线

36. 总结回顾：数据治理，人人有责，你我责任重大 数据资产建设 数据工程 数据运营/管理 数据科学 游戏运营/策划 数据质量保证 数据成本优化 数据安全红线 资产使用：能快速检索资产， 质量检查： 成本稽核： 查找同链路资产，避免重复计 1）确保每个重点指标的数据 系统会通过开发标准与规则对 算开发 链路都可质量稽核 数据处理链路进行扫描，定期 遵守安全规范： 开发规范：严格遵守SQL编写、 2）按访问周期，配置好稽核 通报异常成本消耗。 不泄露、不违规授权 库表命名等规范 频率 负责管理范围的元数据完整性， 建立质量规则库，对质量全链 定期分析、优化数据的存储与 负责范围的数据安全盘点、 并维护 路进行检监测，并迭代优化。 计算，形成复盘机制 权限清理及跟踪等 数据检索： 质量分析： 成本分析： 1）检索需求标准化拆解 能用平台精准判别指标质量， 活动的资源使用要有准确的预 遵守安全规范： 2）获取数据定义、口径、血 确定是否可用，避免因数据导 估，且资源有投、有收，避免 不泄露、不违规授权 缘、样例等信息 致分析失真 出现资源持续占用。

37. 总结回顾：怎么做数据治理？ ——数据治理4大方向与核心目标 数据资产建设 数据检索 数据质量保证 数据成本优化 数据开发规范 数据质量规则库 严禁 数据泄露 质量规则挂载 数据地图 计算资源 数据血缘 资产维护 资产使用更高效 数据安全管控 存储资源 严禁 违规授权 数据规则完善 成本监控分析 质量问题分析 质量管理更可信 成本构成更合理 数据可用率的持续提升！ 全链路数据 安全审计 安全风险更可控

38. 附录1-数据治理资料参考 偏理论 偏实践

39. 感谢观看 请在插入菜单—页眉和页脚中修改此文 本 41