OceanBase 共享存储在蚂蚁国际历史库实践

如果无法正常显示,请先停止浏览器的去广告插件。
分享至:
1. OceanBase 共享存储在蚂蚁国际历史库实践 任智强 蚂蚁集团高级运维工程师
2. 目录 01 传统历史库架构的挑战 Contents 02 OceanBase 共享存储架构 03 核心能力与技术优势 04 历史库场景收益分析 05 蚂蚁国际历史库实践
3. 01 传统历史库架构的挑战
4. 历史库背景与挑战 PB 级低频访问数据 典型特征 存储成本敏感 历史库 存算一体扩缩容不灵活 痛点 冷数据存储成本高
5. 02 OceanBase 共享存储架构
6. OceanBase 共享存储架构 APP_1 水 平 扩 展 APP_2 OBProxy OBProxy OBProxy OBServer Tenant_1 LS1 LS2 LS3 OBServer Tenant_1 LS1 LS2 LS3 OBServer Tenant_1 LS1 LS2 LS3 Tenant_2 Tenant_2 Tenant_2 Paxos复制 架构说明 LS P1 P3 P2 P4 共享对象储存 计算:可选 3F,2F1A,1F,按需弹性伸缩 对象存储:存储一份全量数据,按量计费 OBServer Tenant_1 LS4 LS5 LS6 OBServer Tenant_1 LS4 LS5 LS6 OBServer Tenant_1 LS4 LS5 LS6 主副本 Tenant_3 Tenant_3 Tenant_3 Tablet ZONE_1 ZONE_2 ZONE_3 无损自动容灾 存算分离:计算与存储独立弹性伸缩 本地缓存:使用 SSD / 云盘缓存热数据 从副本 日志:Paxos 日志复制,日志分层存储
7. OceanBase 高可用单副本形态 SLB AZ_1 (主Zone) AZ_2(容灾Zone) AZ_3 Node_1 Node_4 Node_5 Node_2 Node_3 OBServer_1 OBServer_4 OBServer_5 OBServer_2 OBServer_3 SYS Tenant 1 Tenant 2 SYS PALF PALF PALF SST Local Storage Cache LogStore_1 SST Local Storage Cache SST Local Storage Cache PALF SST Local Storage Cache LogStore_2 容灾切换 Node_4' 容灾切换 Node_5' SYS PALF 产品部署说明 日志服务:3 副本 3AZ 部署,用户不可见 系统租户:3 副本 3AZ 部署,用户不可见 SST Local Storage Cache LogStore_3 用户租户:单副本单 AZ 部署 对象存储:存储一份全量数据 Log Store Manager 高可用:支持跨 AZ 无损容灾 对象存储(S3/OSS)
8. 03 核心能力与技术优势
9. 核心能力与技术优势 弹性 成本 性能 高可用 • 计算独立扩缩容 • 高压缩率 • 热数据查询延迟 <5ms • 跨 AZ 无损容灾 • 共享存储自动弹性伸缩 • “自动+手动”冷热分离 • 冷数查询延迟 <100ms • 提供 99.99% 的 SLA 保障 • 对象存储存储冷数据 • P99 延迟与存算一体 OceanBase 相当 • 3F/2F1A/1F 灵活容灾策略 • 存储按量计费 • 单副本部署极致成本
10. 04 历史库场景收益分析
11. 历史库场景收益分析 OceanBase 存算一体 2F1A PL0 云盘历史库解决方案 1 存储 2 副本:1 元/GB/月 计算扩容:迁移大量数据,数小时 存储扩容:包年包月 冷热分离:无 6 VS 2 单 CPU 管理数据量:2TB OceanBase 共享存储 2F1A 历史库解决方案 3 4 5 10 存储单副本:0.6 元/GB/月 7 单 CPU 管理冷数据量:10TB 8 9 计算扩容:分钟级扩缩容 存储扩容:自动扩缩容 冷热分离:自动+手动
12. 05 蚂蚁国际历史库实践
13. 蚂蚁国际现状描述 成本敏感 蚂蚁国际站点会有多个卫星小站点, 集群规模与数量都不大,对成本来说 也十分敏感。 流量特点 国际的卫星站点流量相对较小,但是 数据量一直逐年递增,磁盘使用也逐 渐达到机器瓶颈。 历史库成本 归档需要独立集群创建,磁盘空间的 成本其实还是无法节约下来,甚至 3F 的架构仍需要更多的成本。 历史库查询 在有限的磁盘下只能多次备份到 OSS 上,当业务想偶发查询历史数据时十 分艰难(要走数据恢复流程)。 国际站特点 国际站点特点 当前归档痛点
14. 共享存储实践 OB Cloud 部署 归档组件部署 创建阿里云德国站点 OB Cloud 与 VPC 01 02 归档上线 将蚂蚁站内的归档组件进行适配公有云与 OB Cloud 03 04 生产环境流量进入 05 共享存储版本上线 环境打通 归档 POC 验证 共享存储版本在阿里云德国站发布上线 网络打通,管控部署等基建拉起 测试数据进行归档流程 POC 验证 06
15. 理论收益 成本收益 性能收益 未来空间 节约总体蚂蚁国际欧洲站点 20% 将业务查询历史数据成本由 1 天+ 无 partition 限制,单个历史库集 的资源成本。 优化至秒级别。 群可承载整个站点的归档,无需 新增集群。
16. 谢谢
17. 谢谢
18. 谢谢

首页 - Wiki
Copyright © 2011-2025 iteam. Current version is 2.146.0. UTC+08:00, 2025-10-20 18:45
浙ICP备14020137号-1 $访客地图$