MySQL云平台(RDS)在金融行业落地实践

如果无法正常显示,请先停止浏览器的去广告插件。
分享至:
1. MySQL云平台(RDS) 在金融行业的落地实践 演讲人:张沈波
2. 关于我们 • 张沈波 上海爱可生华东技术负责人 • 致力于开源数据库技术的分享与传播 • 公众号《爱可生开源社区》发起人之一(社区) • 数据库运维管理平台产品负责人(产品) • 上海爱可生华东技术服务总监(服务) • 上海爱可生 开源数据库解决方案和服务提供商 • 为企业提供开源数据库的整体解决方案与技术服务 • 客户覆盖金融、电信、能源、零售、制造业等行业 爱可生开源社区
3. 运维视角
4. 数据库视角 • • • • • • • • • • • 资源 回收 数据库在线迁移 数据库规格变更 数据库版本升级 数据库扩容 参数变更 高可用切换策略 • • • 规范 资源 变更 监控告警 数据库开发及测试 备份恢复 性能优化(锁、 TOPSQL、慢SQL) 故障分析 选型调研 开发规范 运维规范 不断改进 • • • • 数据库归档 数据库销毁 资源回收 • • • 资源 使用 分钟级别交付 数据库拓扑信息 与CMDB对接 • • • 基 线 数据库全生命 • • 周期管理 • • 资源 交付 资源 审批 资源 创建 • • • 架构基线(可靠性、稳定性) 性能基线(高性能、高并发) 部署基线(基础运行环境) 已有资源纳管 多种架构(灾备、高可用、 分布式、读写分离) 模板管理 SLA确认(RPO\RTO) 资源清单确认 权限划分 与OA/ITIL等流程对接
5. 平台建设视角 • 服务编排平台 • 多种数据库类型 • 多种数据库架构 • 高可用切换平台 • 备份恢复平台 • 监控告警平台 • 故障诊断平台 • SQL审核平台
6. 这是个广告 云树RDS(数据库云平台) 数据库自服务 云树DMP(自动化运维管理平台) 管理区 业务区 主机管理 实例管理 监控告警 备份恢复 读写分离 分库分表 用户管理 灾备管理 日志管理 SQL审核 MongoDB副 本集群 Redis 主从 集群 管理节点集群 基础资源 裸金 属 Redis Sentinel 高可用集 群 虚拟 化 Redis Cluster 集群 TiDB分布式 集群 容 器 公有云主 机
7. 金融行业容灾标准规范 容灾等 级 RT O RPO 年中断时间 3级 ≤24 小时 ≤24 小时 ≤4 天 4级 ≤4 小时 ≤1小 时 ≤10小时 5级 ≤30 分钟 0 ≤1小时 数据备份、数据处理、网络、运维技术要求(部分) 复制方式选择 • 至少有一个数据副本在同城或异地; • 异步复制 • 支持完成切换准备后,自动或集中切换; • 双副本 • 至少有一个数据副本在异地; • 异步复制 • 异地处于就绪或运行状态,支持自动或集中切换; • 双副本 • 同城、异地至少各有一个数据副本;其中至少一个应同 步复制; • 同城强同步复制 同城、异地,至少一个处于运行状态, 可实时自动或集 • 3或4副本 • 同城强同步复制+异地 • 中切换; • 6级 ≤2 分钟 0 ≤5分钟 同城、异地至少各有一个数据副本;其中至少一个应同 步复制; • 同城、异地均处于运行状态, 可实时自动或集中无缝切 换; 异步复制 • 4或5副本
8. 运维管理平台标准化架构 六级灾备 五级灾备 A园区 B园区 半同 步 Master Slave 2 半同 步 半同步 Slave 1 异步 B园区 A园区 Slave 3 Master 半同 步 Slave 2 半同 步 半同步 Slave 3 Slave 1 C园区 Slave 4 三级灾备 四级灾备 A园区 异步 Master 半同步 Slave 1 A园区 B园区 Slave 2 Master 异步 Slave 1
9. 一套高可用软件,实现多种高可用容灾架构 园区B 园区A APP Server APP Server DBLE 数据库分布式中间件集群 ⚫ 架构: 1主3从2确认 ⚫ 切换策略:DC内自动, 跨DC联动 DBLE 数据库分布式中间件集群 ⚫ 分片1 监测,不一致踢出集群 不等ACK 等ACK 分片N 故障预警:主从gtid实时 ⚫ 故障自愈:复制重连;备 库重做 ⚫ 容灾能力:RPO=0 RTO <30 m; 管理节点 管理节点
10. 通过运维管理平台来固化基线 • 版本管理 • 架构选型 • 系统参数 • 数据库参数 • 目录规范 • 磁盘分区 • 安装方式 • 账户安全
11. 备份、转储、恢复、演练一套完整闭环的备份恢复系统 备份策略 下发 备份 任务 Urman_agent DB 1 Urman_mg r 演练 DB 下发恢复 任务 Urman_agent 开始 备份 备份集 转储 归档空间 演练 恢复 新 DB1 故障 恢复 如果本 地没有 则拷贝 编排 备份 转储 恢复演练 灾备报告 ⚫ 自动编排所有备份任务 ⚫ 全量/增量 ⚫ ftp、磁盘、带库 ⚫ 自动恢复演练 ⚫ 展示RTO、RPO ⚫ 发送每天编排报表 ⚫ 物理备份/Binglog备份 ⚫ 自动转储,故障无忧 ⚫ 指定时间点恢复 ⚫ 备份数据有效性验证 ⚫ 异常编排任务告警 ⚫ 备份自动回收 ⚫ NBU/S3备份对接 ⚫ 故障恢复预测
12. 自动恢复演练确保需要恢复数据时备份集可用,可恢复至任意时间点 ⚫ 备份成功=!顺利恢复; ⚫ 高可用不能替代备份恢复; ⚫ 可基于时间点恢复到指定event; 12
13. 定时健康巡检,快速诊断数据库,将故障隐患扼杀在摇篮里 • 健康巡检 • 库表检查 • 慢日志分析 • 锁冲突分析 • 磁盘容量分析 • DDL进度 • 连接分析
14. 一键参数变更,避免误操作、漏操作 ⚫ 热参数即时生效 ⚫ 重启参数特别标识 ⚫ 敏感参数默认不显示 14
15. SQL审核落实开发规范,DBA不再为烂SQL发愁 • 规范化数据库设计 • 对象审核 • SQL语句审核 • 逻辑设计反模式 • 物理设计反模式 • 查询反模式 • 数据反模式
16. 内部流程系统对接 • 存量数据库版本/类型 • 配置基线 • 非标改造 • 业务部门(最终用户) • 运维部门(使用) • 系统研发部门(对接) • 统一状态展示 • 监控告警视图 运营 门户 • 集群信息 • 实例信息 • 版本信息 存量接管 人 CMDB MySQL云平台 系统对接 • 基于业务的同城切换 业务连续性 • 基于业务的异地切换 平台 • 参数变更 • 高可用切换 • 实例启停 自定化运维 平台 用户 权限 ITSM • 单点登录 • AD域/LDAP • 访问权限控制 • 资源申请流程 • 审批流程 • 工单流转
17. 对接场景
18. 对接场景-业务连续性平台完成业务和数据库之间的联动切换
19. 知识体系建设 ⚫ 环境检查清单 ⚫ 网络配置手册 ⚫ 上线下发/验证/回退文档 ⚫ MySQL开发规划 上线文档 ⚫ 平台优势宣讲 ⚫ 平台使用流程 应急卡片 推广培训 ⚫ 平台应急卡片 ⚫ 数据库应急卡片 知识 体系 ⚫ MySQL基础新人培训 ⚫ 平台架构原理 ⚫ 平台最佳实践 平台内训 知识库 ⚫ 平台原理 ⚫ 操作指引 ⚫ 故障案例
20. 上线检查单
21. 培训体系
22. 培训体系-示例
23. DBA团队体系建设 团队培养计划 DBA标准培训 开发体系建设 运维规范体系建设 专业的标准化、定制化课程, 成体系的培训计划,覆盖DBA 开发、运维等全角色,可以快 速培养起一只精英团队。 爱可生承载了行业头部客户的 开发管理流程对接、各种系统 技术对接、运维基线标准的定 义等。 爱可生提供了行业标杆客户的运 维体系建设,包括架构基线、安 装部署规范、版本基线、性能基 线等。曾从0到1的帮助工行、 招行建立MySQL开发规范体系。 技术专题培训 爱可生拥有自己的开源社区,同 时也与业内众多开源社区都有深 度合作,在技术专题会议、公开 课、技术文章上可以提供直接帮 助,便于团队获取业内最领先的 一线运维知识。
24. almost 华东最大的DBA团队 Join Us
25. THANK YOU!

首页 - Wiki
Copyright © 2011-2024 iteam. Current version is 2.137.1. UTC+08:00, 2024-11-24 20:42
浙ICP备14020137号-1 $访客地图$