OceanBase 共享存储在蚂蚁国际历史库实践
如果无法正常显示,请先停止浏览器的去广告插件。
1. OceanBase 共享存储在蚂蚁国际历史库实践
任智强
蚂蚁集团高级运维工程师
2. 目录 01 传统历史库架构的挑战
Contents 02 OceanBase 共享存储架构
03 核心能力与技术优势
04 历史库场景收益分析
05 蚂蚁国际历史库实践
3. 01
传统历史库架构的挑战
4. 历史库背景与挑战
PB 级低频访问数据
典型特征
存储成本敏感
历史库
存算一体扩缩容不灵活
痛点
冷数据存储成本高
5. 02
OceanBase 共享存储架构
6. OceanBase 共享存储架构
APP_1
水
平
扩
展
APP_2
OBProxy OBProxy OBProxy
OBServer
Tenant_1
LS1
LS2
LS3 OBServer
Tenant_1
LS1
LS2
LS3 OBServer
Tenant_1
LS1
LS2
LS3
Tenant_2 Tenant_2
Tenant_2
Paxos复制
架构说明
LS
P1
P3
P2
P4
共享对象储存
计算:可选 3F,2F1A,1F,按需弹性伸缩
对象存储:存储一份全量数据,按量计费
OBServer
Tenant_1
LS4
LS5
LS6 OBServer
Tenant_1
LS4
LS5
LS6 OBServer
Tenant_1
LS4
LS5
LS6 主副本
Tenant_3 Tenant_3 Tenant_3 Tablet
ZONE_1 ZONE_2 ZONE_3
无损自动容灾
存算分离:计算与存储独立弹性伸缩
本地缓存:使用 SSD / 云盘缓存热数据
从副本
日志:Paxos 日志复制,日志分层存储
7. OceanBase 高可用单副本形态
SLB
AZ_1 (主Zone)
AZ_2(容灾Zone)
AZ_3
Node_1 Node_4 Node_5 Node_2 Node_3
OBServer_1 OBServer_4 OBServer_5 OBServer_2 OBServer_3
SYS Tenant 1 Tenant 2 SYS PALF PALF
PALF
SST
Local Storage
Cache
LogStore_1
SST
Local Storage
Cache
SST
Local Storage
Cache
PALF
SST
Local Storage
Cache
LogStore_2
容灾切换
Node_4'
容灾切换
Node_5'
SYS
PALF
产品部署说明
日志服务:3 副本 3AZ 部署,用户不可见
系统租户:3 副本 3AZ 部署,用户不可见
SST
Local Storage
Cache
LogStore_3
用户租户:单副本单 AZ 部署
对象存储:存储一份全量数据
Log Store Manager
高可用:支持跨 AZ 无损容灾
对象存储(S3/OSS)
8. 03
核心能力与技术优势
9. 核心能力与技术优势
弹性 成本 性能 高可用
• 计算独立扩缩容 • 高压缩率 • 热数据查询延迟 <5ms • 跨 AZ 无损容灾
• 共享存储自动弹性伸缩 • “自动+手动”冷热分离 • 冷数查询延迟 <100ms • 提供 99.99% 的 SLA 保障
• 对象存储存储冷数据 • P99 延迟与存算一体
OceanBase 相当 • 3F/2F1A/1F 灵活容灾策略
• 存储按量计费
• 单副本部署极致成本
10. 04
历史库场景收益分析
11. 历史库场景收益分析
OceanBase 存算一体 2F1A PL0 云盘历史库解决方案
1
存储 2 副本:1 元/GB/月
计算扩容:迁移大量数据,数小时
存储扩容:包年包月
冷热分离:无
6
VS
2
单 CPU 管理数据量:2TB
OceanBase 共享存储 2F1A 历史库解决方案
3
4
5
10
存储单副本:0.6 元/GB/月
7
单 CPU 管理冷数据量:10TB
8
9
计算扩容:分钟级扩缩容
存储扩容:自动扩缩容
冷热分离:自动+手动
12. 05
蚂蚁国际历史库实践
13. 蚂蚁国际现状描述
成本敏感 蚂蚁国际站点会有多个卫星小站点,
集群规模与数量都不大,对成本来说
也十分敏感。
流量特点 国际的卫星站点流量相对较小,但是
数据量一直逐年递增,磁盘使用也逐
渐达到机器瓶颈。
历史库成本 归档需要独立集群创建,磁盘空间的
成本其实还是无法节约下来,甚至 3F
的架构仍需要更多的成本。
历史库查询 在有限的磁盘下只能多次备份到 OSS
上,当业务想偶发查询历史数据时十
分艰难(要走数据恢复流程)。
国际站特点
国际站点特点
当前归档痛点
14. 共享存储实践
OB Cloud 部署
归档组件部署
创建阿里云德国站点 OB Cloud 与 VPC
01
02
归档上线
将蚂蚁站内的归档组件进行适配公有云与 OB Cloud
03
04
生产环境流量进入
05
共享存储版本上线 环境打通 归档 POC 验证
共享存储版本在阿里云德国站发布上线 网络打通,管控部署等基建拉起 测试数据进行归档流程 POC 验证
06
15. 理论收益
成本收益
性能收益
未来空间
节约总体蚂蚁国际欧洲站点 20% 将业务查询历史数据成本由 1 天+ 无 partition 限制,单个历史库集
的资源成本。 优化至秒级别。 群可承载整个站点的归档,无需
新增集群。
16. 谢谢
17. 谢谢
18. 谢谢