分布式Data Warebase-加速企业数据智能化

1. 分布式Data Warebase -加速企业数据智能化 ProtonBase 技术VP / 胡月军

2.

3. 目录 01 / 企业数字化背景和趋势 02 / Why Data Warebase? 03 / Data Warebase 系统架构 04 / Data Warebase 关键技术 05 / 企业私域数据智能化探索

4. 结构化智慧用于预测、决策并符合价值观的知识知识有上下文、可被解释的信息信息建模后的数据数据基本经营的数字化表征企业数据资产的DIKW模型抽象

5. 数据处理历程智能化规模化信息化

6. 一个招猎业务的数据架构关键词搜索关键词搜索简单查询对象存储全量同步分析增量同步 C CD 应用服务语义搜索应用全量照步同快简单查询汇总分析向量数据库语义搜索 BI工具

7. 上述数据架构的弊端开发门槛高运维复杂系统稳定性差数据延迟开发效率低成本不可控数据不一致开发视角运维视角业务视角

8. 分布式 Data Warebase 不是发明而是发现所有数据所有场景挑战极限极简体验结构化数据简单查询性能统一的API 正确统一的数据存储实时兼容已有生态半结构化数据关键词搜索 Data Warebase Data Warehouse + Database 非结构化数据语义搜索汇总分析隔离自适应

9. 数据开发的新范式关键词搜索照全量步快同对象存储分析语义搜索 C BI工具 CD 同步量应用服务增量同步应用简单查询关键字搜索语义搜索全量同步向量数据库应用应用服务分布式 Data Warebase 分析 BI工具

10. 总体系统架构 Teleport MySQL / PostgreSQL Business App NoSQL (MongoDB) Cloud Services Data Integration Management Observability Security Billing Search Cloud Storage (S3) Log Data Multi-Cluster Compute Warebase Warebase Warebase BI / Analytics Event Data Device (IoT) Real-Time Decision Centralized Storage AI / ML IDC Cloud Alibaba Huawei Tencent AWS Azure

11. 关键技术多云架构多种存储格式无限扩展兼容 PostgreSQL 生态存算分离多种数据高性能多场景查询提升开发运维效率全托管丰富的索引高性能数据操作负载隔离安全可信分层存储高性能分布式事务自适应多云原生所有数据所有场景挑战极限极简体验

12. 多云存算分离 Warebase  一个虚拟化的计算集群  由基于容器化的多个 Units 组成 Warebase A Multi-Cluster Compute  Units 可以快速增减  无需拷贝数据，新扩 Units 可立刻服务 Database  数据存储的逻辑单元 Centralized Storage  数据存储在EBS，S3等云存储中  多副本保证高可用性  存储不够时系统会自动快速扩容  新扩存储可立刻被所有数据库使用 Cloud Storage Unit 1 Warebase B Unit 1 Unit 2 Unit 3

13. 存储格式行存列存适合事务型场景适合分析型场景高性能实时写入高效的多维过滤与聚合高性能点查更高的压缩率混合存储适合 HTAP 场景

14. 多种数据非结构化数据半结构化数据 通过 Json/JsonB 类型支持半结构化数据 高维向量 Json/JsonB 列同一个路径允许有不同类型 文字/图像/音视频的嵌入向量 关系型数据和半结构化数据可存储在同一个表 关系型数据和向量数据可存储在同一个表 通过 SQL / Json path 提供丰富的查询能力 通过 SQL 提供查询

15. 丰富的索引索引类型索引特点支持全局二级索引索引和主表保持事务型强一致支持倒排索引支持并发创建（concurrently) 支持 Json 索引支持向量索引支持位图索引支持表达式索引支持部分索引支持包含列

16. 分层存储热数据/实时数据高性能存储冷数据/历史数据低成本 S3 冷热分离

17. 无限扩展 Unit 1 Unit 2 水平扩展 Unit 3 只读实例 * 该功能开发中

18. 高性能多场景查询高性能多场景 分布式执行计划 简单查询 向量化执行引擎 关键词搜索 索引加速 向量搜索 物化视图 复杂的分析查询

19. 高性能数据操作交互式增删改导入导出 高吞吐 / 零延迟 高性能导入 COPY FROM 支持 UPSERT / MERGE / UPDATE JOIN 高性能导出 COPY TO 支持输出更新的数据 CDC

20. 高性能分布式事务 支持完整 ACID 语意分布式事务 支持多语句事务 支持对话式事务 高吞吐低延迟

21. 兼容 PostgreSQL 生态驱动、框架、工具、文档、扩展 Gorm pgAdmin DBeaver SQLAlchemy QuickBI Mybatis DBT

22. 负载均衡 Warebase A Unit 1 Warebase B Unit 1 不同业务的隔离 Unit 2 Warebase A Unit 1 同一个业务软隔离 Warebase A Unit 1 Unit 2 Warebase A’ Unit 1 同一个业务的硬隔离 Unit 2

23. 自适应 数据自动分片和均衡 自适应建索引自适应 自适应编码策略 一阶段事务 查询自动选择存储格式和索引 查询自动决定并发度

24. 生成式AI加速企业私域数据智能化 Pre-Trained Fine-Tuning RAG

25. 检索增强生成 - RAG Warebase A 生成答案 7 召回系统提示 + 上下文 8 问题 1 6 2 3 4 5 搜索相关文档 Embedding Service 知识库 LLM

26. Omni Search NL2SQL SQL NL LLM Service Structured Data JSON Data Warebase Embeddings Embedding Service

27. Data Warebase 挑战极限，让数据涌现智能更好的关系型数据库更好的 NoSQL 数据库更好的搜索引擎更好的数仓更好的向量数据库  分布式事务  分布式事务  语义搜索  高性能插入和更新  水平扩展  表达所有关系  数据强一致  数据强一致  数据强一致  半结构化数据  SQL 查询语言  数据无延迟  数据无延迟  数据无延迟  向量数据  生态工具  数据关联性能正确实时体验

28.