美团打车指标自助取数产品建设实践

如果无法正常显示，请先停止浏览器的去广告插件。

1. 2022 n lo a S h c e T T M 美团打车指标自助取数产品建设实践美团打车数据中心-冯培胜 1

2. 个人介绍 n lo a S h c e T T M 美团数据系统开发专家 2017年加入美团，负责美团打车数据体系建设，从0到1搭建了打车数据服务平台，在对指标数据的管、用、治等方面有比较丰厚的经验。 2

3. 目录 n lo a S h c e T T M 1 指标自助取数产品系统介绍 2 指标自助取数产品建设思路 3 指标自助取数产品未来规划 3

4. 目录 n lo a S h c e T T M 1 指标自助取数产品系统介绍 2 指标自助取数产品建设思路 3 指标自助取数产品未来规划     1.行业与业务简介 2.面临的指标取数问题 3.指标取数产品理念 4.指标取数产品简介 4

5. 系统介绍 1.行业与业务简介 a S h c e T T M n lo 增量市场转变为存量市场业务精细化运营数据高效支撑 5

6. 系统介绍 n lo 业务特点数据消费模式初创期业务从无到有，探索可行商业模式数据从0开始，通过 SQL算数增长期商业模式可行，扩张抢占市场数据井喷式增长，大量数据诉求有数、丰富成熟期有比较稳定的市场份额，精细化运营高质量数据，精细化数据丰富、快、准确、好用 a S h c e T T M 数据诉求特点有数美团打车 1.行业与业务简介 6

7. 系统介绍数据诉求丰富、快准确、好用 2.面临的取数问题 n lo • 报表太乱啦！根本不知道去哪里找我想要的数据？ • 现在业务上有哪些指标，我想要的指标有没有？找不到（全） • 写sql得半小时才查出来 • 提需求至少得明天才能取数太慢了（快） a S h c e T T M • 几个报表看到的同一个指标怎么数值不一样？ • 怎么成单数比提单数还大？ • 经常分析指标异常波动，每次都要花费一两个小时 • 每天制作日报周报给其他同事看，太耗时了 • 在地铁上，着急看数看不了数不对（准）不好用（好用） 7

8. 系统介绍 3.产品理念 n lo 产品理念：打造一款集找数、查数、分析、决策于一体的一站式的数据产品，并且数据要做到全、快、准、好用。全不用到处找数不用求人取数 a S h c e T T M 快准立等可取用户质疑时用户是错的好用比用户想要的更多 8

9. 系统介绍 4.产品简介 n lo a S h c e T T M 在了解我们具体产品内容之前了解几个业务核心概念 • 报表用表格、图表等多样的格式来动态显示数据 • 指标业务的度量，即用户关心的业务的核心度量的数据，比如提单数、成单数 • 维度查看指标的筛选分析的条件，比如日期、城市 9

10. 系统介绍 4.产品简介 n lo 指标自助取数产品是基于指标和维度进行灵活的查找、快速的查询和丰富的分析以便于用户决策的数据系统维度 a S h c e T T M 指标 10

11. 目录 n lo a S h c e T T M 1 指标自助取数产品系统介绍 2 指标自助取数产品建设思路 3 指标自助取数产品未来规划     1.指标的定义与管理（全） 2.指标的查询与优化（快） 3.指标的质量与安全（准） 4.指标的应用与分析（好用） 11

12. 建设思路数据好用： 4.指标的应用与分析数据快： 2.指标的查询与优化数据全： 1.指标的定义与管理 n lo a S h c e T T M 产品应用查询服务质量管理安全管理数据准： 3.指标的质量与安全元数据管理数仓存储 12

13. 建设思路 1.指标的定义与管理（全）管理形式不统一指标找不到定义口径不统一定义流程不规范统一流程统一管理技术定义业务定义指标管理 n lo 模型管理 a S h c e T T M 统一口径表管理事实表数仓表信息维表业务定义英文名称：order_submit_num 中文名称：提单数业务描述：按提单时间统计，乘客提交订单的数量总和通过审核使业务定义和技术定义保持一致技术定义数据模型：model_a 新增指标产品审核审核业务定义开发审核审核技术定义聚合类型：count 聚合字段：order_id 通过数据对比使技术定义之间保持一致数据模型：model_b 聚合类型：sum 聚合字段：order_num 不同模型支持的维度不一样 13

14. 建设思路 2.指标的查询与优化（快）- 查询 2.1 查询：以指标和维度为入参统一查询，无需关心模型与物理表请求DSL 指标：提单数、成单数筛选维度：日期、城市条件维度：日期=5.1~5.31，城市=北京 a S h c e T T M 或模型SQL1 查询服务语法解析匹配模型引擎1执行模型择优模型SQL2 数据结果 n lo select 提单数、成单数 where 日期>20220501 and 日期<20220531 and 城市=北京 group by 日期，城市日期城市提单数成单数 0625 北京 108 88 0626 北京 201 99 数据合并引擎2执行 SQL1：select count(order_id) as `提单数` from t_order_1 where dt >20220501 and dt<20220531 and city=100 group by dt,city SQL2：select sum(order_num) as `成单数` from t_order_2 where dt >20220501 and dt<20220531 and city=100 group by dt,city 14

15. 建设思路 2.指标的查询与优化（快）- 要快 2.2 要快问题：多指标，多模型查询耗时 • 增加SQL并发线程池 • 减少SQL数量指标 + 分组队列 a S h c e T T M 示例：20指标->20个SQL，3种模型（对应Hive、ES、Doris三种引擎） Hive: 20 * 20s = 400s ES: 20 * 2s = 40s Doris: 20 * 1s = 20s n lo 策略 Hive查询耗时同模型指标合并 • 模型指标1 模型1 模型3 指标2 模型2 模型4 指标3 模型1 模型5 指标4 模型2 查询 SELECT 指标1 , 指标3 FROM 模型1 SELECT 指标2 , 指标4 FROM 模型2 降低SQL时长缓存 + 模型择优 + 模型优化目标：秒级查询指标查询指标缓存匹配模型模型择优模型 SQL SQL 缓存引擎执行数据合并结果返回 15

16. 建设思路 2.指标的查询与优化（快）- 更快 2.3 更快更快思路落地方案 20个指标，20个SQL，20S 物化视图 20个指标，1个SQL，1S 关键技术 FP-growth 算法 n lo a S h c e T T M 历史查询指标查询频繁项分析多指标SQL拼接成一个SQL 多指标查询物化视图匹配物化视图是将查询结果预先计算并存储的一张特殊的表，需要对查询进行改写 SQL改写方式具体策略基于语法改写文本匹配、语法匹配基于规则改写和优化器规则相同基于结构改写提取SPJG标准形式物化视图建表 SQL改写物化视图表数据模型表基于规则改写指标SQL select count(order_id) from t_order = 物化视图SQL select sum(order_num) from t_order_view 16

17. 建设思路 3.指标的质量和安全（准） 3.1 质量：查的数要对事前规范事中监控规范指标模型开发需求流程指标审核测试发布监控配置数据开发测试发布 a S h c e T T M 业务库表流量监控指标校验事后校验工具数据需求业务需求跟踪 n lo 流程标准化管理词根管理建模工具监控工具数仓模型源变监控任务SLA 时长预警资源预警数据量对比数据异动基本数据探查指标监控字段监控主外键约束有效性合理性完整性及时性元数据管理一致性唯一性校验规则查询服务指标管理模型管理规则管理规则分析语义解析模型路由库表信息指标血缘监控告警诊断预测引擎执行数据合并 17

18. 建设思路 3.指标的质量和安全（准） 3.2 安全：查的人要对授权授权方式权限角色指标维度维值审计审计流程 n lo a S h c e T T M 组织记录收集用户示例  指标：提单数、成单数  维度：日期、城市  维值：全部、上海审计分析授权记录组织分析审计预警查询记录用户分析智能分析权限回收权限回收授权原则权限最小原则权限限时原则 18

19. 建设思路 4.指标的应用与分析（好用）怎么做到好用？ n lo 逐步深入用户需求，越来越好用用户需求功能迭代 a S h c e T T M 取数功能建设历程版本报表看数自主查询只能固化看数自由查找指标维度查询 SQL报表指标取数产品1.0 人工分析对比分析下钻分析指标取数产品1.1 归因分析逻辑树分析归因指标取数产品1.2 从人工分析到归因分析，降低分析门槛，让普通用户也有分析数据的能力，工具更好用 19

20. 建设思路 4.指标的应用与分析（好用）归因分析：找到影响最大的因素 1.过程指标：可以根据波动贡献找到影响最大的指标 n lo 2.降维指标：可以根据基尼系数找到影响最大的维度 a S h c e T T M 举例：成单率下降10%，怎么回事？指标逻辑树拆解 3.关联指标：作为过程指标和降维指标重要参考 20

21. 建设思路 4.指标的应用与分析（好用） n lo 根据用户诉求不断迭代功能更多用户使用、用户更多使用 a S h c e T T M 下载、在线 APP 端天气分享保存用户访问量 EXCEL 日报周报指标异动目标管理版本发布 21

22. 建设思路架构 3.指标的应用与分析（好用）产品应用看板服务天气服务数据归因分析共享下载 4.指标的质量与安全（准） n lo 目标管理质量 a S h c e T T M 二次计算服务权限审计管理 2.指标的查询与优化（快）查询服务语法解析模型路由引擎查询线程队列 SQL构建数据缓存物化视图数仓存储指标管理数据源管理 kylin mysql 模型管理数据表管理任务链路信息业务资产目录 doris es druid hive 权限角色管理审核流程数据合并 1.指标的定义与管理（全）元数据管理开发规范安全规范工具业务库表监控审计记录收集异常审计分析数仓模型监控校验规则权限预警监控 22

23. 建设思路全指标覆盖 100% 取数占比 > 80% 效果 n lo a S h c e T T M 快准 TP90 5S 质疑率 < 0.05% 好用其他体验评分报表制作 2天 -> 10分钟访问次数 TOP1 接入各方平台 > 10个 ... ... 23

24. 目录 n lo a S h c e T T M 1 指标自助取数产品系统介绍 2 指标自助取数产品建设思路 3 指标自助取数产品未来规划    1.更全、快、准、好用 2.未来规划思路 3.愿景与使命 24

25. 未来规划全快准好用 1.更全、快、准、好用 n lo • 存量指标全了，新指标呢？ • 80%，剩下的取数呢？ a S h c e T T M • 查的快，但是资源成本呢？ • 已有的数据快，但是走需求的数据呢？ • 数据准了，校验任务运行成本呢？ • 数据准了，建设和运维人力成本呢？ • 已有的数据挺好用的，新需求数据呢？ • ... ... 增量数据需求交付慢人力物力成本大用户提需没有全量的业务数据需求驱动当前数仓建设模式 ETL任务 RD根据经验编码建设数仓分层按照数仓规范分层建设 25

26. 未来规划 2.未来规划思路规划思路：数据建设模式由被动变为主动，让用户更自主 n lo 当前模式-需求驱动 1 2 数据需求数据收集 3 数据查询规划模式-业务驱动 1 定义取数数仓物理表 h c Te ETL生产 T M 逻辑模型 4 物化视图数据查询 Sa 数仓分层建设接入层明细层业务数据库 4 汇总层主题层用户提需定义取数 2 需求驱动业务驱动 3 ETL任务 2 自动化生产 4 数据收集 3 1 业务数据库数仓分层物化视图数据底座数据虚拟化 + 智能物化视图 26

27. 未来规划 3.愿景与使命 n lo 理想态愿景目标 a S h c e T T M 用户定义即计算让数据的消费者能在业务的视角自主定义数据，从而提高分析周期内的各方人效的目标数据自动化生产业务驱动数据建设物化视图智能构建产品使命更全、快、准、好用深耕数据建设技术深耕数据建设理论数据虚拟化技术逻辑模型数据底座智能物化视图技术物化视图资产名录 27

28. 期待你的加入 n lo a S h c 谢谢 T Te M 邮箱：fengpeisheng@meituan.com 微信交流群： 28