美团点评MGR应用实践
如果无法正常显示,请先停止浏览器的去广告插件。
1. 数据架构与数据优化沙龙-北京站
美团点评MGR应用实践
王志朋
1
2. 2014
京东金融
DBA
2017
美团点评
DBA
现在
金融及基础组件数据库运维
2
3. 1 2 上线历程
5 典型问题
6
ONTENTS
解决方案
4
C
关于MGR
3
目 录
背 景
Smart Client
7 日常运维
8 写在最后
4. 1 2 上线历程
5 典型问题
6
ONTENTS
解决方案
4
C
关于MGR
3
目 录
背 景
Smart Client
7 日常运维
8 写在最后
5. 背景
MHA + 中间件 + CMDB
APP
CMDB
CMDB元数据
中间件
API
API
切换查询
DB
切换
调用回填
MHA
5
6. 1 2 上线历程
5 典型问题
6
ONTENTS
解决方案
4
C
关于MGR
3
目 录
背 景
Smart Client
7 日常运维
8 写在最后
7. 关于MGR
节点上:冲突检测等
节点间:通信、Paxos
7
8. 关于MGR
Still A MySQL
8
9. 关于MGR
单
主
模
式
write
read
write
read
?
S1
S2
S3
S4
S1
S2
S3
S4
9
10. 1 2 上线历程
5 典型问题
6
ONTENTS
解决方案
4
C
关于MGR
3
目 录
背 景
Smart Client
7 日常运维
8 写在最后
11. 解决方案
MGR的限制
▪ InnoDB
▪ Primary Key
▪ binlog_format=ROW
MGR的配置
▪ ......
参考 官方文档
整体
架构设计
12. 解决方案
MGR的限制
参数 -
binlog_checksum=NONE -
MGR的配置
transaction_write_set_extraction=XXHASH64 -
group_replication_group_name=' __UUID__ ' -
整体
架构设计
…… -
参考:参数配置
13. 解决方案
MGR的限制
测 试
功
MGR的配置
整体
架构设计
能
场 景
运维工具
14. 解决方案
参数
MGR的限制
MGR的配置
整体
架构设计
| 基础参数
| 实践总结
15. 解决方案
MGR
MGR的限制
S1
▪ 多机房MGR
MGR的配置
S3
▪ 主从灾备集群
▪ 配置一键回滚
整体
架构设计
S2
M-S
Slave1
Slave2
16. 解决方案
CMDB 最终方案
MGR的限制
DBA平台 运维工具
Write DNS
OPS平台
Read DNS
MGR的配置
整体
架构设计
S1
S2
S3
Read set
17. 解决方案
DNS 解决方案
MGR的限制
APP
APP
APP
DNS接口
MGR的配置
Write DNS
MGR
整体
架构设计
S1
S2
S3
18. 1 2 上线历程
5 典型问题
6
ONTENTS
解决方案
4
C
关于MGR
3
目 录
背 景
Smart Client
7 日常运维
8 写在最后
19. 上线历程
流程系统上线
2017.12
CMDB上线
2018.04
Start
2018.05
2018.03 2018.05 2018.06
测试结束 报表系统上线 后续
19
20. 1 2 上线历程
5 典型问题
6
ONTENTS
解决方案
4
C
关于MGR
3
目 录
背 景
Smart Client
7 日常运维
8 写在最后
21. 典型问题
现 象
大事务
应用
Hang死
机房
故障
诡异unreachable
机器网络无问题
偶发直接切换
22. 典型问题
大事务
现 象
• Nginx可用率骤降
• 部分应用宕机
应用
Hang死
机房
故障
• 数据库慢查询
23. 典型问题
大事务
应用
Hang死
机房
故障
慢查询
24. 典型问题
大事务
MySQL集群
和MGR同时切换
DNS解析迟迟未生效
机房网络
带宽减半
应用
Hang死
CMDB 切换3秒完成
机房
故障
中间件信息回填失败
25. 1 2 上线历程
5 典型问题
6
ONTENTS
解决方案
4
C
关于MGR
3
目 录
背 景
Smart Client
7 日常运维
8 写在最后
26. Smart Client
Python工具
读写分离
自动Failover
负载均衡
26
27. 1 2 上线历程
5 典型问题
6
ONTENTS
解决方案
4
C
关于MGR
3
目 录
背 景
Smart Client
7 日常运维
8 写在最后
28. 日常运维
初始化 扩容
参数配置
监控
切换扩容
28
29. 日常运维
节点状态 –
Online -
监
控
“延迟” -
29
30. 1 2 上线历程
5 典型问题
6
ONTENTS
解决方案
4
C
关于MGR
3
目 录
背 景
Smart Client
7 日常运维
8 写在最后
31. 写在最后
▪ 演练检测
▪ 实践检测
- 高可用
- 高一致性
31
32. THANK YOU
32