QBI平台演进与实践

1. QBI平台演进与实践杜峻辰 | 机票目的地事业部/技术运营中心/数据平台

2.

3. 目录 CONTENTS A 平台介绍 B 平台演进思路 C OLAP场景和实践 D 未来展望

4. 01 平台介绍

5. 数据平台整体架构酒店报价酒店营销会员权益代理商数据平台机票辅营信息流推荐 API CDP 业务应用数据应用 BI 数据标准数据开发数据仓库数据治理离线数仓数据质量实时数仓数据同步调度系统基础平台数据资产 Hive Trino Flink 开发平台数据安全 Hadoop Hbase Kafka 埋点系统

6. QBI是什么基础设施工具数据迁移数据资产权限存储应用元数据（血缘，依赖）达芬奇埋点（SDK）自助报表计算趣分析即席查询监控管理。。。

7. QBI能做什么数据准备数据分析数据采集数据存储/转存集成SQL+NOSQL 两种方式数据展示数据汇报丰富图形可视化功能报表+看板+下载满足不同汇报需求

8. QBI架构图可视化表格图表汇报看板邮件报表分析 SQL NOSQL Adhoc SQL NOSQL 查询服务 API 元数据标准化权限视图层 SQL Template 表 View SQL 接口监控引擎层文件数据视图书签 ... 数据资产存储层 ......

9. 使用情况 QBI目前服务于Qunar全司十几条业务线，现已形成较为完善的产品矩阵，包括以下场景：即席查询（Adhoc）模块:日执行次数五千，平均执行时长一分钟内邮件报表模块: 100%自助的报表开发 OLAP模块：支撑了百亿明细数据，上百维度指标任意组合，P99<2S 数据分析模块: 数据自由探索，例如上卷下钻探查深入分析，日均请求10W+ 数据报表（可视化）模块:固化指标快速可视化。 MAU两千，可视化图表1万+。有驾驶舱，酒店大脑等衍生产品

10. 02 平台演进思路

11. QBI发展阶段 01 02 03 04 起步发展成熟完善

12. 起步阶段缺乏工具开发门槛极高工具少且难用自助率低依赖数仓排期数仓很忙身兼多职的数据开发

13. 发展阶段数仓开发数据数据开发访问平台开发使用工具

14. 成熟阶段数据使用数据准备开发存储元数据 clickhouse 计算引擎可视化 davinci Hive 入仓工具 qlibra kudu Presto 开发平台即席查询 pg Impala 调度平台 hdfs 报表

15. 完善阶段后期面临的四个问题数据出不来/出的慢数据对不上，口径说不清数据质量差标准不统一？低性能，高成本，难维护技术待优化 A系统做一次，B系统做一次系统难联动

16. 完善阶段--数据质量数仓平台管理数据管理链路管理资源管理预期质量管理主维护工具用户报告主标准

17. 完善阶段--数据质量架构

18. 完善阶段--标准化可管理，可追溯，标准化的指标标准化 QBI分析基于标准化指标的深入分析或基于事实表/ 维表的探索分析

19. 完善阶段--技术优化性能优化代码优化配置优化监控优化要性能，也要效能删，改，查更合理，更可控排查，预防

20. 完善阶段--系统联动趣分析达芬奇书签可视化图表分析过程数据单向打通只打通结果使用限制多数据视图数据

21. 完善阶段--系统融合 QBI 底层数据共享+功能模块化+结果抽象=融合数据结果抽象 SQL分析 NOSQL分析数据

22. 03 OLAP场景和实践

23. OLAP场景的变化及思考三个变化: 时效性变化分析方式变化数据量变化在很多业务场景里，数据的价值和时效性息息相关，数据的时效性要求越来越高。用户分析由固化场景分析逐渐转移为灵活探索分析分析的数据开始更多基于明细或关联明细，不管是复杂程度还是时间跨度都在增长场景： 1.百亿数据量 2.最多近百个维度指标任意组合 3.有实时场景

24. 优化示例--分区设计及动态SQL优化基于宽表结构和查询场景做文件分区设计优化前：优化后：

25. 优化示例--实现colocation join Broadcast Join A B C a b a a 1 1 2 3 2 A B Colocation Join: 在数据写入的时候提前根据左表数据分布安排Join表的数据分布,Join的时候直接使用Local Join C A a b a b a b 1 1 2 1 3 1 3 查询时消耗：网络开销为N-1个B表大小内存开销为N个B表大小 2 2 2 3 3 3 B C a b a b a b 1 1 2 2 3 3 查询时消耗：网络开销为0 内存开销为B表大小

26. 04 未来展望

27. QBI后续方向 01 QBI 2.0 02 数据网关 03 降本提效

28. Q&A

29. 分享完毕，谢谢观看！