快手数据治理在质量方向上的实战

1. 快手数据治理在质量方向上的实战刘一凡快手大数据服务负责人

2.

3. 个人介绍刘一凡参与并负责快手统一数据服务、数据管理、大数据安全专注于大数据管理、数据服务以及BI分析产品等大数据中台化建设工作

4. • 快手在质量上面临的问题 • 快手质量整体解决方案 • 数据服务质量解决方案 • 典型业务场景实战案例 • 未来规划

5. 关于快手愿景短视频 + 直播电商，招聘，本地生活 …  致力于成为全球最痴迷于为客户创造价值的公司。平均日活22Q1 3.4+亿  我们的使命是帮助人们发现所需、平均月活22Q1 5.9+亿发挥所长，持续提升每个人独特的日均时长22Q1 128分钟幸福感。

6. 关于快手大数据平台以领先的大数据技术，激活数据价值，赋能业务，打造快手核心竞争力平台+BP组织短视频直播电商快手数据平台统一化建设 … 游戏  统一建设数据仓库  统一建设数据系统  统一制定规范流程万级 EB级集群规模总数据量十万级万级日作业量日活跃用户数 PB级日净增数据量

7. 关于数据治理/数据质量数据治理数据质量唯一性及时性一致性数据质量有效性准确性完整性

8. 快手数据平台在质量面临的问题数据全链路质量问题数据源数据集成数据仓库在线数据库  业务DB  Kafka2Hive  APP  CK  客户端日志  DB2Hive  TOPIC  Druid  服务端日志  DWS  Hbase  DWD 埋点质量问题数据重复计算口径不一致数据库Schema变更数据丢失数据变更不同步业务脏数据数据刷新不同步任务延迟破线数据刷新不同步数据服务数据应用数据应用指标计算口径不一致指标命名不一致

9. 快手在质量上整体解决方案度量北极星指标：数据质量故障数规范监控规范事前工具埋点测试埋点规范 SQL Scan 故障规范代码测试指标管理规范变更诊断事中埋点监控 + 生产监控（DQC / SLA） + 应用监控（一致性对比）事后数据治理平台（数据质量评估体系 – 质量健康分） … 组织指标平台质量团队

10. 对于指标体系的理解指标的理解业界趋势统一指标的好处数据的表达 Headless BI 口径统一，避免数据质量统一语言统一语义层数据复用，避免重复建设逻辑抽象智能建模低代码服务提效，低代码数据服务

11. 指标体系建设通用性问题应用层服务层 ☓ 数据地图应用产品 ☓ ☓ 指标服务  缺少指标服务：指标管理仅作为数据字典，约等于Wiki ☓ 指标管理数据 ☓ ☓ 数据仓库 D Q C S L A 流程规范  缺少流程规范：数据准确性无法保障  缺少互联互通：没有和数据生产、消费体系打通，无法一处变更，全局生效没有发挥最大价值指标管理动力不足！！

12. 快手在数据服务面临的质量问题烟囱式数据服务数据应用1 数据应用2 数据应用3 数据开发数据开发数据开发定义指标定义指标定义指标需求对接需求对接需求对接业务1 业务2 业务3 命名不一致口径不一致出口不一致

13. 指标平台对服务质量整体方案指标平台统一指标管理统一指标监控统一指标服务 1、指标定义唯一 2、指标口径正确 3、指标出口统一  指标统一化管理  指标一致性检测  指标管理与指标服务打通  指标命名唯一性  指标的规则监控  指标服务OneService  指标名字使用词根组成  指标的SLA  明确角色以及流程管控

14. 指标平台设计理念元数据指标监控指标维度元数据生产元数据指标服务数据管理驱动 —— 一处管理，全局使用

15. 统一指标管理数仓规划指标管理维度管理表管理业务线业务信息业务信息技术信息数仓分层技术信息技术信息指标/维度绑定数据域命名字典维度码值业务过程

16. 指标定义唯一性保障命名规范审核流程

17. 统一指标监控及时性保障准确性保障自身检测指标SLA 一致性检测横向对齐指标值域检测波动率检测 App1 … AppN Topic1 … TopicN 纵向对齐数据表数据表 Dws Dwd 数据表数据表

18. 统一指标服务日常看数（管理层/DA/运营等） Headless BI 数据分析（DA/运营等）专题类看数（DA/运营/外部等）指标只需定义一次，就可以统一的在仪表盘、以及自动化工具中使用 BI产品定制产品自助分析低代码用户只需查询指标维度，平台自动化生产引擎查询代码指标服务指标口径指标口径指标口径指标口径指标口径指标口径数据建模数据资产通过指标的元信息，构建表与表之间的关系-数据模型

19. 指标服务-语言抽象OneDSL 场景1 ：面向物理引擎查询支持引擎联合查询分析例如：Clickhouse + Druid Hive Druid Clickhouse hbase 面向逻辑表的查询面向逻辑表的执行计划树 OneDSL 逻辑表 … 转换场景2：面向数据集指标维度的查询支持自然语言分析例如：分地域母婴产品交易金额？数据集时间范围维度结构化抽象指标过滤条件语法2：编排语法（复杂语法）语法1：SQL语法（简化语法）逻辑表  统一语法支持Native语法  支持流程控制语法 

20. 指标服务-自动化建模元信息自动化建模服务数据模型指标/维度元信息表元信息指标/维度与表关系逻辑模型模型发现最佳路径计算维度建模理论累加性计算模型索引

21. 指标服务-模型搜索筛选阶段：指标维度条件-> N个满足条件的模型指标查询服务 ModelSearcher ModelSearcher 搜索模块搜索模块 … 模型索引 v1 淘汰指标不匹配的表维度筛选淘汰维度不匹配的表范围筛选淘汰数据范围（行）不匹配的表日期筛选淘汰数据日期范围不满足的表模型索引 v2 v1 v2 Zookeeper （模型版本信息） ModelManager 历史版本指标筛选线上版本待上线版本排序阶段： N个满足条件的模型 -> Top3最优模型生产排序取早不取晚，优先取完成时间早的表效率排序取快不取慢，优先取效率高的表维度排序取粗不取细，优先取粗粒度表手动排序自定义优先级，取优先级高的表

22. 指标服务-代码生成指标服务 Hive 代码生成指标维度查询数据模型 AST树 dim fac t dim join sca n sca n RBO CBO  事实表先聚合再Join  Join顺序调整  长时间查询，自动按照时间切片子查询  Join方式调整  Druid TimeSeries，TopN优化  计划调整  Druid case when 转 lookup查询 …  Clickhouse Bitmap，countif 优化 … 引擎查询 OneDSL 统一查询 Druid ….

23. 指标服务-服务隔离客户端配置服务配置管理流量管理路由管理隔离单元元数据服务路由策略查询服务优先级 Very High Very High High High Normal Normal Normal 商业化其他电商业务隔离 Very High … High

24. 指标平台使服务模式转变 UGC PGC 模式模式各自定义，各自使用一处定义，多处使用  灵活度高  数据服用  质量无保障  质量有保障  低代码

25. 指标平台之上的数仓建设方法论规范流程建设 01 确定词根与元素以及流程规范 02 指标维度建设确定维度和指标范围，利用词根和元素确定指标和维度名字，并且定义指标的描述数据内容建设  指标粒度矩阵的规划与设计 03  模型的建设和规划与实现  模型和指标、维度的绑定 04 数据集建设  数据集的建设和规划  数据集的推广和应用

26. 指标平台在商业化实战需求对接以及研发流程数据集的建设思路业务需求消费侧业务应用数据分析产品业务应用业务应用自助分析数据集建设（1+N）业务领域的指标体系指标管理增加指标数据集的指标/维度效果广告数据集展示广告数据集生产侧联盟广告数据集横向数据集模型管理增加模型数据无质量故障，研发效率提升10倍 … 独立业务集市

27. 指标平台落地成果服务配置：分钟级别分析应用分析看板指标取数 OLAP OneService 统一指标管理接入数据主站，电商，游戏，商业化 ... 查询量：100w+/天邮件报表查询能力：Hive/Druid/Hbase，跨源查询，UDF 离线查询：分钟级别热查询：毫秒级别

28. 再谈指标平台的价值向上驱动消费，向下驱动生产，打通数据全链路数据生产驱动指标体系驱动数据消费

29. 未来规划  完善生态：模型设计、数据生产、数据服务  统一语言：统一建模语言、统一查询语言  智能化：智能建模、智能优化等  开放共享：开放标准、开源平台

30.

31.