美团餐饮开放平台稳定性治理

1. 美团餐饮开放平台稳定性治理美团点评餐饮生态事业部

2. 收银技术中心-餐饮生态架构师 2017年入职美团，一直负责美团餐饮开放平台的技术工作，经历了餐饮开放平台从千万级流量到亿级流量的过程。之前在华为、Veritas等公司从事分布式系统的基础架构研发工作。

3. 目录 1、微服务下的美团餐饮开放平台 2、稳定性治理整体思路 3、技术手段 4、工程手段 5、总结

4. 餐饮开放平台业务介绍线上美团点评餐饮开放平台消费者商户外部餐饮软件线下为外部厂商赋能帮助商家提升效率提升消费者体验

5. 微服务下的开放平台自身业务有三多： • 系统外部厂商多 • 内部业务服务多 • 内部组件依赖多微服务环境下，系统的复杂度上升： • 服务依赖关系 • 服务监控、日志、容灾

6. 目录 1、微服务下的美团餐饮开放平台 2、稳定性治理整体思路 3、技术手段 4、工程手段 5、总结

7. 稳定性指标平台的可用性：平台按照预先定义好的服务等级协议SLA提供服务的可能性。 Availability = MTBF /(MTBF + MTTR) MTBF:平均无故障时间； MTTR:平均故障时间

8. 稳定性的手段业务隔离缓存弱耦合防御上游容错下游防御性能异步全面监控人框架高效路由及时触达快速定位研发质量集群、容错跟踪染色全链路巡检

9. 稳定性治理整体思路公司级的稳定性保障： • 统一的WAF • 多机房容灾 • 高性能RPC框架 • 组件集群 • • • • • 服务间调用，同机房>同城>异地服务调用组件，同机房>同城>异地机房级切换至少3机房部署容量支持任一机房关闭前面3个9靠公司

10. 稳定性治理整体思路开放平台的稳定性特点每日两次业务高峰技术层面 1. 事前的稳定性设计：应对业务高峰、自身三高设计、抵御上下游； 2. 事中的监控定位：及时发现问题、快速通知定位； 3. 事后的及时止损：开关切换。自身的三高要求上下游的变化不可控工程层面 1. 保证上线质量； 2. 全链路日常巡检。剩下的需要靠自己

11. 目录 1、微服务下的美团餐饮开放平台 2、稳定性治理整体思路 3、技术手段 4、工程手段 5、总结

12. 微服务稳定的核心OCTO • • • • • 治理能力统一高性能/易用全方位的治理能力通信框架统一通信框架高性能全链路压测平台命名服务统一通信框架轻量化性能优化诊断平台 SET化架构支撑数据治理分布式链路追踪稳定性保障平台所有PaaS组件打通监控预警链路轨迹精细化服务鉴权、加密易用性平台建设运营平台测试工具可视化链路级流量治理多机房适当冗余；不要设置过长的超时时间；尽量避免重试；对于批量接口，限制大小；独立部署多套服务，响应不同优先级的业务。跨地区容灾和扩展

13. 稳定性设计业务高峰异步削峰业务降级分库分表自身三高全链路IO异步化组件高可用隔离防范上下游限流、降级、熔断超时重试多级缓存强依赖变弱依赖

14. 稳定性设计业务高峰异步削峰、业务降级、非核心操作低耦合 1. MQ消费频率 2. 备选功能切换：磁盘、MQ 3. 开关:直接抛弃

15. 稳定性设计提升自身可用性全链路IO异步化 • 对外Servlet3.0异步化 • 对内RPC异步化 • HttpClient异步化

16. 稳定性设计提升自身可用性多种缓存设计组合 1. 不变的数据，放本地缓存 2. 通过databus更新双缓存 3. 修改数据时，应用程序只读缓存，不写缓存

17. 稳定性设计抵御上下游异常熔断、限流、降级，历久弥新的三大招

18. 稳定性设计抵御上下游异常业务的主机隔离功能的线程隔离隔离

19. 稳定性设计抵御上下游异常超时与重试 1. 超时不合理，会导致请求响应慢，慢请求累积导致连锁反应，甚至应用雪崩。 2. 重试次数太多会导致多倍请求流量，即模拟了DDoS攻击，后果可能是灾难。读服务天然适合重试，但写服务大多不能重试。 3. 重试机制应该和熔断、快速失败机制配合。链路的每一个点都要考虑超时与重试。最重要的超时重试是网络的连接、读写设置。

20. 监控定位系统性监控、及时的发现业务总流量接入方流量正常流量参数解析失败流量 Jetty 失败流量组件 JVM 业务监控依赖流量 OS(内存、磁盘、网络) 硬件业务失败接口总RT RT 依赖RT 下游调用失败返回值解析失败限流流量

21. 监控定位全链路跟踪、快速定位问题监控定位四大平台 1. XMDLog日志中心 2. Mtrace分布式会话链跟踪 3. CAT统一业务监控 4. Falcon基础设施监控

22. 监控定位基础设施分布式链路跟踪 OS、硬件级上下游链路的依赖分析微观宏观 Falcon MTrace XMDLog日志中心 CAT业务监控具体一个问题的分析主动上报+定时采样+告警通知一些小建议： • 远程日志打过多消耗系统资源，建议按需写日志。 • 支持远程修改日志级别，一键降级日志输出方式，非常实用。 • 异常分支建议增加埋点。 • 关键指标使用秒级监控，提升故障发现的时效性。 • 如果QPS较高，使用batch接口上报。

23. 及时⽌损预案备选路径重启加机器回退代码触发补偿灰度开关根据业务经验积累保障工具一键降级机房切换

24. 目录 1、微服务下的美团餐饮开放平台 2、稳定性治理整体思路 3、技术手段 4、工程手段 5、总结

25. 工程手段编码质量上线质量 (流程制度规范) 测试/单链路压测上线灰度/观测机房/组件/应用工程手段故障演练功能/报警/切换压测全链路巡检容量规划值班定期梳理

26. 全链路压测 • 模拟线上真实流量 • 创建线上压测环境 • 压测过程的实时监控与过载保护

27. 目录 1、微服务下的美团餐饮开放平台 2、稳定性治理整体思路 3、技术手段 4、工程手段 5、总结

28. 总结应对高峰自身稳定容错下游防御上游容灾切换集群监控定位技术工程研发规范日常巡检

29. 招聘：餐饮生态研发岗位邮箱： wangying49@meituan.com 更多技术干货欢迎关注“美团技术团队”