Data Warebase 一体化数据平台的云原生实践

1. 杨克特

2. 目录

3.

4. 搜索服务快照全量处理实时读写 CDC 离线分析应用应用服务实时读写快照增量处理 CDC 实时分析

5. Cons Pros • • o o o • • o o • o o o

6. 搜索服务快照 CloudSearch 全量处理实时读写 S3 CDC 离线分析实时读写应用 Redshift 快照应用服务增量处理 CDC RDS 实时分析

7. 向量检索向量数据库 CloudSearch 离线特征 S3 实时特征 Redshift 应用应用服务实时离线处理一体化 RDS 事务和分析混合负载？口径不统一

8. 开发门槛高稳定性差迭代效率低开发效率低成本不可控数据不一致开发视角运维视角业务视角

9.

10.

11. Gorm DBeaver pgAdmin SQLAlchemy Mybatis QuickBI DBT

12.

13. ✓ ✓ ✓ ✓ • •

14. 分片1 a key … … f a i b l key b c d d 分片2 e f b f g e g h g h i k i hash(key) % 3 j j k k l 分片3 c d h j … a c e ... l 分片1 分片2 分片3

15. 从系统实现者的角度从用户的角度数据分布一般较均匀可能不均匀范围查询效率低效率高查询路由分区键 O(1) 非分区键广播维护全局路由信息易用性需要配置分片数无需配置实现复杂度低高扩缩容代价高迁移 n/(n+1) 数据低可自动进行

16. 保障吞吐 • • 计算层使用本地Cache加速存储层使用对象存储 Pros Cons

17. 高吞吐+低延迟 • • • 使用高速本地盘或云盘保障延迟低延迟、高可靠的读写接口专门的存储服务 Pros Cons 内置 Raft/Paxos 一致性协议

18. Warebase A ✓ Multi- Cluster Compute ✓ ✓ Centralized Storage ✓ Cloud Storage Unit 1 Warebase B Unit 1 Unit 2 Unit 3

19.

20. 行存适合事务型场景高性能实时写入高性能点查混合存储 Zero-ETL 数据强一致列存适合分析型场景高效的多维过滤与聚合更高的压缩率

21. 相同计算组软隔离 ✓ 不同计算组硬隔离 ✓ ✓ ✓ ✓ ✓ ✓ ❖ ❖ ❖

22.

23.

24. 阶段三：统一计算模型 Table1 ✓ 使用物化视图来描述业务逻辑全量初始化对齐离线SQL，没有额外的学习负担 ✓ 使用增量计算来统一计算模型 MV Table2 全量初始化 + 增量刷新增量不依赖 State，自由灵活切换计算形态 Table1 ✓ 结果表直接提供实时查询服务 MV 无需同步至外部系统丰富的调优手段（存储格式，索引等） Table2 增量刷新

25.

26.

27.

28. 7 8 1 6 2 3 4 5

29.

30. 倒排索引向量索引关键词搜索语义搜索

31. 实时数据系统 Database Raw Data 多模态检索 Ingest 实时决策 Transform Features Business App Kafka 实时分析探索数据科学家机器学习工程师 Business App

32. 实时读写应用服务多模检索

33. • 云原生的现代数据系统，可以充分发挥云的各项优势 • 实时、多模、一体化是数据系统的重要演进方向 • AI 会给数据系统带来更旺盛的需求和更大的挑战 • Data Warebase 是我们对这一趋势的总结和实践

34.

35. 大模型正在重新定义软件 Large Language Model Is Redefining The Software