Iceberg 湖仓一体在 B 站的实践

1. Iceberg 湖仓一体在 B 站的实践李锐

2.

3. 目录 • • • • 背景查询加速智能化服务总结与展望

4. 背景

5. 为什么需要湖仓一体

6. 为什么需要湖仓一体 • • • • 数据出仓链路复杂，维护麻烦数据冗余，口径不一致未出仓数据查询性能达不到交互式分析的要求 Hive数仓实时性不好，只能做到天级或小时级分区

7. 数据湖到湖仓一体的演化

8. 数据湖到湖仓一体的演化

9. 为什么选择Iceberg • • • 文件级别的元数据管理基于Snapshot的事务支持开放格式，良好的存储格式抽象和定义

10. 湖仓一体的目标灵活 •无限容量 •开放格式 •流批读写高效便捷 •数据优化 •索引加速 •接近分布式数仓的性能 •自动优化 •智能分析 •降低使用门槛

11. 查询加速

12. 优化思路 • • • 多维分析的常见模式：关联  过滤  聚合  排序大宽表或者星型模型如何尽可能过滤掉不需要的数据

13. 数据排序组织 • • Iceberg记录每个列的Min/Max统计信息过滤效果取决于过滤字段的值在文件中的聚集效果如何对过滤字段进行聚集？ DataFile统计信息 ColumnSizes col1: …, col2: …, … ValueCounts col1: …, col2: …, … LowerBounds col1: …, col2: …, … UpperBounds col1: …, col2: …, …

14. Linear Order的问题 • 仅对第一个排序字段有较好的聚集效果 SSB Benchmark

15. Interleave Order • Z-ORDER 如何把不同数据类型映射成正整数参与计算？

16. 基于Boundary Index的Z-ORDER计算 • • • • 映射值需要保序映射值的分布需要统一对参与计算的字段划分boundary 根据boundary index计算z-value

17. 基于Boundary Index的Z-ORDER计算

18. Hilbert曲线 Z-ORDER Hilbert Curve 聚集性更好

19. 过滤效果 Z-ORDER 排序字段越多，聚集性越差，一般不超过4个 Hilbert Curve

20. 索引 • • • 判断一个文件中的数据是否满足某个过滤条件对于高基数过滤字段，无需排序也能实现较好的过滤效果每个索引针对一个字段，一张表可以定义多个索引

21. Bloomfilter索引 • • • • 计算简单占用空间小存在False Positive 只适用于等值过滤条件

22. Bitmap索引 • • • 适用于等值和范围过滤条件不存在False Positive 占用空间大，加载索引的开销较大

23. SSB测试 • 1TB，大宽表模式

24. 星型模型 • • • 大多过滤条件在维表上维表上的过滤条件有较高的Selectivity 但是过滤后的join key取值范围较大

25. 星型模型能否通过维表字段对事实表进行过滤？

26. 关联列 • • • • 定义在事实表上是一种虚拟列通过关联维表得到 Join Key需满足PK-FK或UNIQUE约束

27. 关联列 • • • 使用与普通列相似：name、type、id 关联列的数据不会保存到事实表中可以基于关联列做排序和索引

28. 关联列 • 查询引擎负责将关联列的过滤条件下推到事实表中

29. 测试结果

30. 星型模型预计算 • • • • 多维分析的常见模式：关联  过滤  聚合  排序 Cube/AggIndex，定义在事实表上定义维度字段、聚合值文件级别聚合

31. 星型模型预计算 • • 维度字段（关联列）：d_year，p_brand，s_region 聚合值：sum(lo_revenue)

32. Cube文件的生成与管理

33. 聚合值的处理 • • • 由于是文件级的聚合，所以查询时还需要对每个文件的聚合结果进行global merge 对于可直接累加的聚合值（如MIN、MAX、COUNT），直接存储聚合值对于不可直接累加的聚合值（如AVG、 COUNT_DISTINCT），存储binary类型的中间结果

34. 查询改写 • • • 判断聚合计算是否符合cube定义改写逻辑计划事实表切换到cube模式

35. 测试结果

36. 智能化服务

37. 为什么需要智能化服务

38. Magnus服务

39. 总结与展望

40. 总结 • • • • • 排序和索引功能已在B站落地更好的用数取数体验 10w查询/天 P95响应时间： ~5s 平均扫描数据量：80 million

41. 未来工作 • • • • • 推进预计算的落地以及增强自动根据聚合效果判断是否生成cube文件支持在只有部分数据生成cube文件时响应查询智能化分析常用过滤字段、查询模式，自动创建索引、cube等增强UPSERT能力，打造近实时湖仓

42.

43.