数仓标准化之指标系统建设和实战

1. 数仓标准化之指标系统建设与应用实践张国鹏 | 机票目的地事业群/技术运营中心/数据平台王俊答 | 机票目的地事业群/服务/数据开发

2. 个人介绍 2020年加入去哪儿，主要进行数据治理相关工作，推进数据标准化建设。负责一些标准化系统的开发。目前致力于建设一套完整的数据治张国鹏理体系，管理好公司数据资产，提升数据价值。

3. 目录 CONTENTS 01 02 03 04 系统建设应用与实践未来规划背景介绍

4. 背景介绍

5. 数据平台整体架构酒店报价酒店营销会员权益代理商数据平台机票辅营信息流推荐 API CDP 业务应用数据应用 BI 数据标准数据开发数据仓库数据治理离线数仓数据质量实时数仓数据同步调度系统基础平台数据资产 Hive Trino Flink 开发平台数据安全 Hadoop Hbase Kafka 埋点系统

6. 业务背景机票机票数仓机票调度决策系统酒店数仓酒店调度 BI系统服务数仓宙斯调度达芬奇系统市场数仓 marmot调度 marmot系统酒店火车票机票比价门票度假 …… 业务发展数据分析

7. 痛点问题角色问题分析运营看数系统多，数据对不上，对结果不信任数据质量差指标重名口径不一致，业务含义不明确规范不统一核心指标变化，定位原因耗时，多维分析复杂血缘缺失重复需求，烟囱开发，效率低，质量差建设方法不合理产品主管研发

8. 解决思路：数据标准化数据标准化：指研究、制定和推广应用统一的数据分类分级、记录格式及转换，编码等技术标准的过程；数据标准制定统一的数据标准数据标准化规范产研开发流程 + 流程和制度技术和工具技术/工具化落地、管控

9. 指标系统的应用 10000+ 6+ 60+ 指标数量覆盖核心业务线数量指标的类型 8+ 指标建设平均复用次数 10+ 数据质量分提升 4000+ 标准化报表访问次数/天

10. 系统建设

11. 方案设计

12. 建设方案&指标规范定义 B U 业务板块：指企业中相对独立的业务活动。可根据企业的组织架构或者整体业务架构进行划分业务板块数据域：指面向业务分析，将业务过程或者维度进行抽象的集合数据域规范定义数据字典统计周期业务限定原子指标业务过程：企业的业务活动中一个个不可拆分的行为事件维度业务过程复合指标统计粒度原子指标：业务过程 + 度量（对业务过程的衡量）例如：酒店下单用户数派生指标模型建设复合指标：业务活动（业务过程的组合）+ 度量（多个原子指标的四则运算）例如：酒店提交订单到支付订单O2P 汇总事实表指标系统建设方案明细事实表维度表派生指标：统计周期+业务限定+统计粒度+原子/复合指标例如：最近一天北京地区分星级酒店下单用户数

13. 模型规范 DWS模型设计数据仓库 ADS（应用层） DWS（轻度汇总层） DWD（明细层） ODS（存储层）数仓分层 D I M （公共维度层） • 确定粒度 • 选择指标 • 冗余维度 DIM模型设计 • 确定维度 • 选择维度属性 • 冗余高粒度维度属性 DWD模型设计 • 选择业务过程 • 声明粒度 • 确认维度 • 确认事实

14. 流程规范化

15. 工具化-指标系统 1.统一管理 2.统一建模指标系统 3.数据质量保障 4.指标更好用

16. 1.统一管理数据应用 Qlibra 达芬奇 API 指标系统模型管理表类型数据分层数据范围数据粒度指标管理指标定义逻辑查询业务描述数据预览维度管理维度定义维度整合维度视图一致规范规范管理数据字典业务板块数据域统计周期数据源元数据管理流程审核数据质量

17. 2.统一建模 | 建设流程统一数仓指标模型开发构建企业的公共数据层，把原先分散的、烟囱式的、杂乱的小数仓合并可视化层自动化生成SQL代码，让开发人员专注于设计（设计即开发）趣分析推送自动化构建dws/ads层，提供模型可共享、可复用的能力。达芬奇邮件报表模型层维度建设 ADS层自动建模模型物化 DWS层自动建模引擎层 OneSQL 指标层指标明细层 DWD 分布式调度

18. 2.统一建模 | 维度建模维表1 维表2 维表1 事实表维表4 维表2 维表6 事实表维表3 维表4 星型模型星座模型： • 及时性要求高 • 一致性维度建设 • 空间换时间维表3 维表5 雪花模型维表1 维表2 事实表维表4 事实表维表3 星座模型

19. 2.统一建模 | 自动化建模 ads_xxx_dt 统计周期指标A 指标B 维度A 指标C 指标D 是是否依赖原子指标原子A dws_事实表_维度组合ID_rd_dt 是否已包含原子指标是否存在否拆解为原子指标否，创建DWS 并新增指标否 dws_02 dws_01 统计周期原子C 原子A 原子D 原子B 维度A 统计周期维度A

20. 3.数据质量保障完整性指标质量事后校验元数据管理校验规则一致性合理性有效性查询服务模型管理规则管理规则分析指标匹配模型路由库表监控指标血缘监控告警诊断预测引擎路由监控配置调度系统应用系统数据探查字段校验依赖监控执行监控数据流转阈值监控空值检验数量对比计算监控耗时监控看板更新波动监控规范事前规范唯一性指标管理数仓模型事中监控及时性流程工具数据规范模型规范流程规范上线审核标准管理指标检验指标规范发布规范版本控制质检配置模型工具监控工具

21. 4.指标数据好用 | 对口径查问题更快看板平台 ADS报表/调度指标详情页

22. 4.指标数据好用 | 找指标看数据更方便指标搜索指标导航指标血缘图

23. 总结业务覆盖数据开发效率指标数据准应用分析好用核心业务线接入： 6+ 原子指标复用率 800% 标准化指标质量分平均高10分以上口径一致、含义清楚找指标方便指标类型：60+ 指标变更成本1pd降至15min - 标准化看板每日 pv>4000+ 派生指标：10000+ - 数据分析效率提升 80%

24. 应用与实践

25. 王俊答 20年加入去哪儿数仓团队搭建服务数据仓库建设服务数据标准化推进标准体系建设

26. 服务业务简介售后业务：支付后业务出票、退改、报销、航变客诉相关呼叫中心智能机器人服务质量运营用户分层运营服务体验测量

27. 服务业务简介业务线机票酒店门票度假酒店机票退款改签入住变更发票航变取消拒单呼叫中心客服运营 IVR 工单赔付评价 CHAT 网络电话体验事件客损

28. 建设层次化 — 服务总线矩阵机票服务数据域分析矩阵酒店服务数据域分析矩阵服务数据域实现全覆盖，关键节点业务过程均涵盖在已知数据域中，满足S/A级看板业务需求及日常数据开发。

29. 建设层次化 — 构建总线矩阵 ⚫ 不合理构建 ◆ 未关注业务整理ODS表清单咨询架构与系统开发按照ODS清单命名业务过程 ◆ 未考虑全局整理需求或指标基于ODS表直接计算指标

30. 建设层次化 — 业务梳理产研协同流程确定数据域指标系统新增数据域产品研发退款改签历史报表整理需求发票航变新需求需求归类工单 CHAT 指标需求分析电话评价维度抽象业务留言赔付业务知识指标定义事件 ······ 研发梳理业务研发新增申请数仓负责人组内review 数据委员会委员review 研发录入指标系统

31. 建设层次化 — 业务梳理业务研发合作业务研发指标系统管理业务流程讲解系统实际体验新增业务过程申请标注核心指标确定关键事实确定关键事实技术讲解业务系统主体流程确定一致维度确定一致维度

32. 建设层次化 — 关于总线矩阵业务数据管理项目规划和排期一致性维度更好的实现跨业务过程钻取数据域和业务过程互不重叠方便做数据集成和统一管理开发遵循架构异步独立开发优势数据一致性保障共享一致性维度，有序建设维度减少冗余的出现减少烟囱式建设分工清晰，任务明确避免面向需求开发基于业务过程建设避免盲目建设

33. 数据规范化 — 规范化分层应用数据层轻度汇总层 ADS 面向业务定制；个性化统计；应用结果数据 DWS 面向分析主题建模；通用维度聚合；预计算 ADS层：数据应用层，和业务强相关的报表层退款监控报表二退原因分析报表 DWS层：轻度汇总层 DIM层：公共维度层机票退款分业务类型天表：明细层存储层 DIM 一致性处理；统一口径 DWD 面向业务过程建模；数据清洗；数据规范化；维度退化 ODS 关系数据库模型；保留历史；不做处理；与业务实体保持同构机票退款天表 ······ 1. 统计维度：业务类型 2. 统计指标：申请量、时长公共维度层退款页面跳转率报表退款行为天表退款类型维度表： 1. 维度一致处理 2. 枚举口径统一退款原因维表 DWD层：数据明细层机票申请退款事实表： 1. 确定粒度：一次退款申请 2. 确定维度：订单、退款信息 3. 确定事实：退款金额、时长 4. 维度冗余，异常值处理机票完成退款表 ······ ······ 机票浏览退款表退款单状态维表 ODS层：离线或准实时接入的数据退款页面前端访问日志机票退款业务系统数据机票退款后端埋点日志退款数据域应用机票订单系统数据

34. 数据规范化 — 规范化分层 DWS DW RPT ODS DM ODS ADS DWD 标准化需求分层前：分层后：临时需求

35. 数据规范化 — 系统规范化分层 ODS 研发 DWD ads_xxxx_xxx_di DWS 指标系统 ADS dws_xxxx_xxxx_dt …… ads_xxxxx_xxx_di 天粒度退款汇总表复用在近30张数据应用报表

36. 数据规范化 — 规范化建模传统建模设计方案业务板块一级分类服务方案一： 1. 从梳理业务流程到业务过程落地 2. 从划分主题到指标拆分 3. 从事实表设计到物理模型建立方案二： 1. 拆分原子指标和派生指标 2. 指标归属业务过程、数据域方案一：业务建模退款定义业务过程 1. 自下而上分析需求，拆分指标 2. 自上而下规范化建设业务过程维度国内机票申请退款退款方式定义口径 3. DWD模型设计混合建模方案数据域二级分类多维分析业务活动统计周期原子指标业务限定统计粒度最近1天退款量自愿退款方式派生指标最近一天服务国内机票自愿申请退款量 (group by 退款方式) 方案二：维度建模

37. 流程标准化 — 指标系统建模流程标准化建模产出以维度建模理论为基础，基于维度建模总线架构，构建一致性的维度和事实，划分和定义数据域、业务过程、维度、度量/原子指标、修饰类型、修饰词、时间周期、派生指标。业务板块数据域服务度量/原子指标修饰类型修饰词时间周期申请申请退款量退款类型自愿退款最近一天最近一天自愿申请退款量完成完成退款量退款类型自愿退款最近一天最近一天自愿完成退款量业务过程派生指标退款 ……

38. 流程标准化 — 体系化建模基于业务分析的逻辑建模数据域需求模型业务过程分析指标基于逻辑建模的物理建模分析粒度分析事实指标拆解原子指标分析维度数据域数据规范复合指标派生指标统统一物理表业务过程冗余维度事实个性化基础事实衍生事实一致性维度统一一基于基础建模的应用建模配置化数应据用主题统计粒度统计周期维度组合轻度汇总指标组合个性化应用体系化建模流程时间周期个性化

39. 流程标准化 — 体系化建模实例需求模型机票改签监控数据需求逻辑建模分析指标指标拆解改签申请量四则运算改签原子指标改签复合指标改签完成量自愿及时 ······ 改签事件创建量分析维度业务类型最近一天自愿及时最近一天自愿改签及时完成量改签原因确定数据域: 改签域确定业务过程: 机票改签申请声明粒度: 一次改签申请一条记录确定维度: 域名、改签类型······ 确定事实: 改签量、改签时长······ 最近一天最近一天自愿改签及时完成率 ······ 改签状态

40. 流程标准化 — 体系化建模实例自动化应用模型基础物理模型改签申请事实表初始化业务系统抽取业务分析沉淀分析维度数据清洗逻辑处理规范化处理统计粒度基础事实衍生标签一致性维度改签主题域统计周期主题拆分统计维度维度拆分分析指标改签事件监控应用分业务类型轻度汇总分改签原因轻度汇总分航司轻度汇总主题拆分维度拆分改签监控应用改签自助签转应用

41. 标准化建设效果建设前建设后数据域 5个 22个口径个数 (例: 改签) 15个 1个需求迭代工时 2pd 0.5pd 指标查看次数 1072PV/天

42. 未来规划

43. 未来规划 1. API&OLAP 2. 标准化标签 3. 实时指标能力拓展 1. 指标覆盖度 1. 全链路血缘完善 2. 资源消耗合理 2. 工具一体化建设细节打磨建管一体化

44. · · ·