为开发者打造灵活高效的一体化产品

如果无法正常显示,请先停止浏览器的去广告插件。
分享至:
1. 为开发者打造灵活高效的一体化产品 杨志丰 OceanBase 产品部总经理
2. 目录 Contents 01 一体化产品演进历程 02 TP 关键业务负载行稳致远 03 AP 从实时数仓到湖仓一体 04 OceanBase on Any Cloud 05 Roadmap
3. 01 一体化产品演进历程
4. OceanBase 一体化数据库 一体化架构 一体化产品理念 多产品形态 技术领先 产品易用 商业成功
5. OceanBase 架构发展历程 V4.0 V2.0~V3.0 V1.0 V0.1 SQL SQL SQL Zone OBServer ChunkServer Update Server 2010 Update Server 高兼容,高性能,混合负载 OBServer Update Server Zone OBServer OBServer OBServer OBServer Zone Zone Zone Zone OB-MySQL OB-MySQL OB-MySQL OBServer OB-Oracle OB-Oracle OB-Oracle OBServer OBServer OBServer OBServer OBServer OBServer 对象存储 2022 2018 2016 多云原生 单机分布式一体化 分布式事务,多租户 分布式,三副本高可用 V4.4 2025
6. OceanBase 单机分布式一体化架构 对等节点 OBProxy LS1 OBProxy OBProxy • 无共享集群 • OBServer 包含 SQL、存储、事务 OBServer OBServer OBServer Tenant_1 Tenant_1 Tenant_1 LS2 LS3 LS1 LS2 LS3 LS1 LS2 高可扩展性 LS LS3 P1 P2 P3 Paxos 复制 水 平 扩 展 LS4 Tenant_2 Tenant_2 Tenant_2 OBServer OBServer OBServer Tenant_1 Tenant_1 Tenant_1 LS5 Tenant_3 LS6 LS4 LS5 Tenant_3 LS6 LS4 LS5 Tenant_3 ZONE_2 无损自动容灾 ZONE_3 • 按分区做数据分片扩展 • 多 Zone 多活扩展 单集群规模 • TPC-C 使用 1557 节点 LS6 主副本 单机分布式一体化 从副本 • 以单机部署时,可以获得单机数据库相当的性能和效率 • 组件在单进程内通讯 • 多个分区可共用一个日志流 • 单机内无分布式事务 • 以分布式部署时,不仅可扩展,还可以做到高性能低时延 Tablet ZONE_1 P4
7. OceanBase 企业版单机版 基于单机分布式一体化架构,满足客户从分布式到单机场景的多元化需求 100% 根自研 面向未来的架构选择 全自主研发 通过一个引擎原生支持多工作负载和多数据类型的需求 核心技术无任何第三方依赖 原生兼容 HBase,简化数据架构 更强性能 平滑迁移 同等硬件环境下,OceanBase 单机版 SysBench 高 高度兼容 MySQL 及 Oracle,可在保持原有应用 并发写入性能相比 MySQL 8.0 提升 114.99% 架构基本不变的前提下完成数据库平滑升级 * 测试环境说明:服务器规格 16c64g,并发数 1000 应用场景:1. 行业头部企业核心与非核心统一技术栈 2. 多层级分布式 & 单机混合应用 3. 国产升级 4. 中小企业轻量级小数据量业务
8. OceanBase 数据库共享存储部署架构(v4.4) 低成本 OBProxy AZ_1 • SST 数据块全量存储于对象存储,降低存储成本 AZ_2 OBServer_1 OBServer_3 OBServer_2 OBServer_4 Tenant 1 Tenant 3 Tenant 1 Tenant 3 Tenant 2 Tenant 4 Tenant 2 Tenant 4 LOG SST LOG Local Storage Cache SST LOG Local Storage Cache SST LOG Local Storage Cache SST Local Storage Cache • OBServer 本地缓存加速 • 多集群共享存储 高可用 • 基于 Paxos 的独立日志存储服务 • 保证 RPO = 0,RTO < 8s 日志存储 AZ_1 AZ_2 LogStore_1 LogStore_2 LS1 LS2 LS1 AZ_3 LS2 LogStore_3 LS1 LS2 弹性伸缩 • 存算分离,灵活扩缩容 对象存储 S3/OSS/COS/OBS • 日志副本数与计算副本数解耦,可实现基于单副本的高可用模式 • 快速扩缩容:计算资源水平扩缩容时无需物理迁移数据
9. OceanBase 共享存储全新产品家族 TP 系列 AP 系列 KV 系列 场景特点: 场景特点: 场景特点: • 非核心业务系统(如中后台系统、历史数据、测试环境) • 支持海量数据低成本存储和实时分析的数据湖仓 • 查询简单的历史订单库 • 海量数据历史订单库 需求痛点: • 海量用户行为记录 需求痛点: • 降低海量数据存储成本 • 监控类时序数据存储 • 降低非核心业务成本 • 提升实时分析的性能 需求痛点: 产品形态: 产品形态: • • 2F 双可用区部署 • 2F 双可用区部署 或 1F 单可用区部署 产品形态: • 无损自动容灾,单 AZ 故障 RPO=0,RTO<8s • 无损自动容灾,RPO = 0 • 2F 双可用区部署 或 1F 单可用区部署 • 支持自动冷热分离,热数据自动本地缓存 • 快速增删计算节点扩缩容,按需增加只读副本 • 无损自动容灾,RPO = 0 • 平均读取时延较好 • 高吞吐率,查询亚秒级实时响应 • 快速增删计算节点扩缩容 • 支持自动/手动冷热分离 • 高性能写入,平均读取时延较好 降低海量数据存储成本 • 支持自动/手动冷热分离
10. 单副本产品系列:提供保证数据可靠前提下的极致性价比 高可靠 & 高可用 OBProxy • 同城冗余对象存储 AZ_1 OBServer_1 OBServer_2 Tenant 1 Tenant 3 Tenant 2 Tenant 4 LOG SST LOG Local Storage Cache AZ_2 对象存储 LogStore_1 LS1 极致性价比 SST Local Storage Cache AZ_1 日志存储 • 机房级容灾:单 AZ 故障时,无损自动容灾,保证 RPO=0, RTO 分钟级 LS2 AZ_3 LogStore_3 LogStore_2 LS1 LS2 LS1 S3/OSS/COS/OBS LS2 TP 系列: • 最经济的入门级规格 • 单计算节点使用时,为云上“高可靠单机版” AP 系列: • RTO 宽松场景下的主流规格 • 单 Zone 内快速增删计算节点 KV 系列: • 适合时序类数据低成本存储 • 用户可自定义冷热分离规则
11. 一体化架构新发展:从存算一体到存算分离 OceanBase 企业版 (分布式版/单机版) 多工作负载一体化 (TP + AP) 一体化 架构 单机分布式一体化 多云原生 OceanBase 数据库一体机 一体化 产品理念 多模一体化 (SQL + NoSQL) 多产品 形态 OB Cloud 云数据库 (事务型/分析型/KV型) (存算一体 + 存算分离) 向量融合一体化 (SQL + AI) OB Cloud 云数据库 (事务型/分析型/KV型) 共享存储版
12.
13. 一体化数据库:面向 GenAI 时代更好的数据底座 扫码下载小蓝书
14. 02 TP 关键业务负载行稳致远
15. 为企业核心业务场景 + 多元业务场景提供保障 高 级 需 求 成 长 需 求 基 础 需 求 11 易用 10 灵活可控 9 安全 8 功能丰富 7 低成本 6 持续可用 5 可扩展 4 高性能 3 数据可靠 2 服务稳定 1 正确 好用 可用 能用
16. 面向 TP 场景 助力关键业务系统升级 久经考验的 Oracle 兼容性 大规模行业场景验证 久经真实场景考验,汇集在银行、券商、保险、运营 商、电力、人社等关键行业实际业务 可无缝迁移的 MySQL兼容性 全面兼容 MySQL 5.6、5.7、8.0 在兼容 MySQL 5.6和5.7的基础上 支持 MySQL 8.0 的新特性,包括更多 SQL Mode、函数、系统变量和视图等 兼容 MySQL Binlog 支持将事务日志转换为 MySQL Binlog 格式,确保与原有基于MySQL增量数据 订阅方案的数据同步无缝对接 复杂查询性能 提升多表JOIN计划生成与执行器性能,减少关键业务 系统迁移遇到的复杂查询性能挑战 更强大的基础功能 更全面的数据类型 存储过程兼容 支持 EVENT 对象的定时任务 LOCK TABLES 表锁及 GET_LOCK()用户自定义锁等 兼容 MySQL SERIAL 类型,支持ASCII TIS620、UTF8MB3 字符集,GIS 及XML 相关 表达式,兼容 MySQL 非法日期处理 全面兼容 Oracle 复杂数据类型,完善Oracle系统包支 持,确保业务场景的平滑迁移 LOB 支持 兼容Oracle的LOB存储,支持TB级数据存储和延迟加 载,确保大数据量操作平滑迁移 兼容通信协议 完整支持 COM_SET_OPTION COM_PROCESS_INFO 等通信协议 兼容系统视图和变量 全面支持 MySQL 系统变量,支持 information_schema.optimizer_trace 等视图 JSON 与 XML 支持 增强对JSON和XML的支持,兼容Oracle相关函数和存 储方式,简化数据迁移与处理 兼容语句选项 三方生态适配 Database Link 与 XA 支持SHOW CREATE USER、CHECK TABLE等语句,以及LOW_PRIORITY 等选项,确保语法和选项的兼容性 支持 MySQL 生态工具的无缝适配 新增 pt-archiver, goInception 等 29 种MySQL 三方工具适配 支持跨OceanBase和Oracle的写事务,确保数据一致 性和最小迁移改动 TP 性能提升 高可用与容灾能力 TP 性能优化 小规格性能优化 相比 4.2.1,SysBench rw 提升26% batch insert 提升 52% 相比 4.2.1,4C 小规格 SysBench select 提 升37%,insert 提升 53% 计划生成与执行优化 自动并行度(Auto DOP) 极致容灾恢复 大INLIST优化,统计信息收集效率提升 支持统计信息拷贝,估行与统计信息增强 查询改写与计划选择能力持续提升 查询优化器自动确定并行度 提升并发查询性能 故障恢复时间(RTO)小于8秒,覆盖多种异常场景 (如宕机、网络中断、IO异常等),保障业务连续性 旁路导入 DDL 性能 租户级别物理备库 数据导入速度提升 6 倍,支持备份恢复与 物理备库,极大提升迁移与运维效率 批量建表/Truncate等操作性能提升 10 倍 以上,并发控制更优 支持不同租户灵活主备部署,备库同步仅依赖归档 日志,支持更灵活的容灾策略 更好的易用性 仲裁服务与两地三中心 支持主城市双中心+异地仲裁,减少带宽依赖 提升故障切换能力 安全与合规 内置性能诊断报告 系统细化监控指标 多模式权限管理 基于全面的监控指标和会话采样,内置全 新的系统性能分析报告 新增标准时间模型统计指标,新增后台线 程计时, PL、索引使用、XA 事务、算子、 PX 监控优化 MySQL 模式支持基于角色的权限管理 Oracle 模式支持代理用户 外表功能 持续打磨运维体验 支持直接读取文件系统或OSS上的外部数据 方便数据分析与集成,提升开发与运维效率 计划生成、统计信息、查询改写、负载均 衡等能力持续优化 审计能力 MySQL 模式支持审计日志
17. 强化稳定性和安全性 支持更苛刻条件下的业务连续性和合规性 稳定性 安全合规 应急能力 安全特性 Format Outline 模糊绑定计划或限流 SQL 级内存使用控制 SQL 关键字限流 TLS证书方式登录 通过接入assume role使用临时密钥访问对象存储,避免使用全局密钥 多云统一支持 KMS 密钥管理 支持隐私列加密 隔离性增强 DBMS_SCHEDULER JOB 调度线程拆分到租户 用户表锁请求统一切到特殊线程组处理 国产适配 RPC 通讯支持国密 变更影响小 分区 DDL 后全局索引不失效 利用异构 Zone 做平滑扩缩容 适配增强稳定性 正式支持Rocky Linux 9 合规可靠 通过中国信息安全评测中心“安全可靠测评”
18. 自动分区:手自一体 兼顾性能与易用性 手动分区表 自动分区表 使用方式: 使用方式: Partition By Hash/Key/Range 按数据量大小自动分裂和均衡 适用场景: 适用场景: 核心业务,性能要求高 • 多元化业务,性能要求适当 优点: • 全局索引 • 可控性强,多种分区方式 • 性能上限高,数据和负载均衡 缺点: 需要根据业务负载设计分区方式 优点: • 无需设计和关注分区方式 • 非分区表随数据量增长自动变更为分区表 • 自动分区和手动分区可并存,且可手动分裂分区,平衡易 用性和性能
19. 03 AP 从实时数仓到湖仓一体
20. OceanBase 4.3.5:面向 AP 场景功能完备的首个 LTS 版本 数据湖仓 数据集成 数据加工 表模型与数据类型 • 外表(v4.3.0~4.3.5) • 外部 Catalog(v4.3.5) • DBLink(v4.2) • 快速旁路导入(v4.3.0~4.3.5) • 导出到文件(v4.3.0~4.3.5) • CDC + Flink(v4.2):流式实时处理 • 物化视图(v4.3.0~4.3.5) • 分区交换(v4.3.1) • Insert overwrite(v4.3.3) • 多表关联,普通视图等(v4.2) • 堆表组织表(v4.3.5) • 标量、向量、半结构化多模数据类型(v4.2) • String, Bitmap, Array(v4.3.3~4.3.5) 计算引擎 • 向量化执行引擎(v4.3) 存储引擎 • 列存表(v4.3.0) • 列存副本(v4.3.3) • 行列混存表(v4.3.0) • 行存表(v4.2):维表点查 一体化架构 • 并行执行引擎(v3.2) • 单机分布式一体化(v4.2) • 多云原生(v4.4)
21. OceanBase 4.3.5 AP 功能概览 AP 功能完备 性能提升 HTAP 能力持续打磨 堆表组织表 物化视图 写入性能优化 资源隔离 主键与数据记录解耦,导入过程无需对主表数据排 嵌套物化视图;支持控制刷新并行度;去除 DDL 的 导入性能相对 4.3.2 累计提升 300% 优化 IO 资源分层共享;统计信息收集及 CLOG 日志 序,提升导入性能和查询性能 各类限制;增量物化视图支持 LOB 类型 外表集成 快速导入导出 外表支持读 ORC;支持读写 MaxCompute;支持 指定分区旁路导入;支持 HASH 分区;增量旁路导 读写 HDFS;支持 MaxCompute Catalog SELECT 入支持多分区并发;导出 Parquet 和 ORC 格式文 支持直接查询指定路径文件无需创建外表 件和压缩文件;租户级默认导入模式可选 AP 数据类型 全文索引 Array 类型,新增 30+ 个处理函数;Bitmap 新增 新增IK 中文分词器;match against 新增布尔模式; 10+ 处理函数,并基于二阶段优化增强并行处理能 力; String 类型,无需定义字符串长度 支持查询时多索引合并;分词器插件化 接入后台资源隔离;cgroup 开关动态生效 多模融合分析 提供默认资源隔离模板控制后台任务 向量检索 SQL 引擎优化 HNSW_SQ 索引,内存占用降低到原来的 1/3~1/4;IVF 索引,无需常驻内存 优化器 易用性 提升硬解析性能;丰富 explain 计划诊断信息 提升列存表的统计信息收集性能;新增若干项改写优化规则 SQL 诊断 如对下压谓词排序,生成更有计划 SQLSTAT、分 SQL 类型的直方图统计 V$SESSION_LONGOPS 视图诊断 DDL 执行 分区自动管理 按时间自动管理 range 分区的生命周期 按规则预创建和删除分区 执行器 Insert_on_dup 等复杂 DML 支持并行执行;cast, in 等性能大幅 提升;PX 并行计算节点与数据节点解耦,更充分利用机器资源
22. 堆表组织表 索引组织表 Index-Organized Table 堆表组织表 Heap-Organized Table 基于主键顺序存储,数据和主键索引绑定 数据无序存储,独立的主键索引 按主键排序,数据导入更慢 数据导入更快 基于主键的查询更快,尤其是范围查询 主键查询需要回表 非主键查询,IO 开销可能更大 非主键查询可能更快,按业务序存储,更易利用 skip index 场景:频繁按主键访问 场景:高写入、复杂查询
23. 嵌套物化视图:数据加工和预处理利器 数仓&在线服务 CDC TP 数据库 Change Data Capture OLTP Database 实时写入 Real-time Writes 批量写入 Batch Writes 队列 queue Data Warehouse and Real-Time Services 部分更新 Partial Updates 列存表 物化视图 物化视图 列存表 Column-Store Table Materialized Views Materialized Views Column-Store Table ODS DWD DWD OceanBase 业务日志 Business Log 使用物化视图能力实现海量数据实时分析 • 非实时 & 实时物化视图 • 全量刷新 & 增量刷新(多表关联、聚合) • 自动查询改写 • 嵌套物化视图 • 基表支持外表,作为缓存加速 ADS 报表 交互式查询 Interactive Query Reporting 联邦查询 Federated Query BI 复杂查询 Complex Query 多维查询 Multi-dimensional Query Business Intelligence 即席查询 Ad-hoc Query
24. 外表和数据湖集成 文件 (CSV/Parquet/ORC) 数据在外部 (OSS/S3/ HDFS…) 本数据库管 理元数据 外表 数据湖 核心竞争力 相互促进 数据源(ODPS) 通常无事 务保证 远端库(DBLink) 加速导入 冷数据低 频查询 Catalog(ODPS/Hive) 开放的表 格式 统一元数 据层 湖格式(Iceberg/Paimon…) 跨系统 协作 缓存加速 流批一体
25. 04 OceanBase on Any Cloud
26. OB Cloud 云数据库 多云原生,打造面向云的一致体验 自运营 商业渠道 跨云容灾 云市场 • 跨云主备库 云数据库服务 云服务 租户版 迁移数据服务 标准集群版 Key-Value 集群版 迁移评估服务 Serverless 数据同步服务 共享集群 数据开发平台 Free Trial 自治诊断服务 • 跨云多活 • 跨云备份恢复 多云一致产品体验 • 多云一致的购买链路 • 多云一致的产品规格 数据库及工具 OceanBase 一体化多模数据库内核 • 多云一致的开发运维体验,又与原厂工具深度集成 • 屏蔽不同云上计算与存储的差异 多云数据库管控平台 规模化降本 数据库及工具 覆盖 6 大云服务商 覆盖全球 30+ 区域 100+ 可用区 • 高达 70-90% 的存储节约 • 集群版释放多租户能力,降低超 30% TCO
27. OB Cloud on 百度智能云发布 百度智能云上的 OceanBase 云数据库服务 更好地满足百度智能云客户对一体化数据管理的需求
28. OB Cloud 多云数据库安全白皮书发布 共建安全生态 云 数 据 库 安 全 挑 战 《OB Cloud 多云数据库安全白皮书》 • 旨在向用户系统阐述 OB Cloud 对云数据库安全的 理解,全面展示 OB Cloud 的安全体系。 • 与用户携手共同构建安全、高效、自主可控的云上数 据生态,应对云数据库的各项安全挑战。 OB Cloud 安全体系 扫码下载白皮书
29. 05 Roadmap
30. OceanBase Roadmap TP Interval 分区 简化分区管理 并易于平滑迁移 KV AP AI 时序类 HBase 数据存储优化 提高压缩比并提升性能 Iceberg、Paimon 等数据湖集成 Java, Python UDF 堆表支持聚簇列 Map、Struct 类型 向量文本混合检索支持融合排序 让 RAG 类应用更简单高性能 AI in OceanBase 共享存储 独立块缓存服务,优化缓存策略提升性能
31. 谢谢

首页 - Wiki
Copyright © 2011-2025 iteam. Current version is 2.146.0. UTC+08:00, 2025-10-22 06:08
浙ICP备14020137号-1 $访客地图$