得物C端核心链路稳定性保障实践

1. 得物C端核心链路稳定性保障实践得物SRE 徐文灏技术保障&稳定安全 2023 / 11 / 21

2. 目录 CONTENTS 01 得物C端链路的特点与挑战 03 变更管控 02 链路稳定性治理方法的演进 04 监控与告警

3. 得物C端链路的特点 12 2015 鉴别支付订单下单/比价推荐/导购浏览/搜索注册/登录算法社区履约发货

4. 得物C端链路的挑战 1. 链路复杂现状: • 单条链路下几十上百个子节点 • 子节点存在多语言, 多类型中间件的架构将图片直接拉入框中风险: • 链路梳理困难,难以掌握链路中的情况 • 排障困难, 很难快速定位根因. • 子节点故障时会连锁导致上游故障.

5. 得物C端链路的挑战 2. 请求量大& 业务波动大现状: • 流量大 • 请求量随运营活动波动大 • 短期峰值脉冲比例很大风险: • 无法有效评估服务容量,生产服务可能因容量不足导致故障 • 生产接口容易被限流

6. 得物C端链路的挑战 3. 变更频繁 2000+ 发布次数已超过2000+, 平均每日发布数量超过 1000+ 1000+次配置变更。 100. 风险: • 增加变更风险 • 链路产生了变化, 治理的内容可能失效 100+ 100+运维变更

7. 目录 CONTENTS 01 得物C端链路的特点与挑战 03 变更管控 02 链路稳定性治理方法和演进过程 04 监控与告警

8. 链路稳定性治理方法和演进过程基于链路中服务强弱依赖的治理我们对链路的治理, 有很重要的一点就是对链路中服务强弱依赖的治理, 识别出链路中所有的强弱依赖关系,将非核心依赖进行降级,保证链路正常. 商品详情商品品宣商品信息足迹记录

9. 链路稳定性治理方法和演进过程基于链路中服务强弱依赖的治理针对单个链路, 识别出链路中所有节点的强弱依赖关系,通过混沌工程进行验证,对强依赖服务进行治理, 减少服务故障,提升恢复时效.

10. 链路稳定性治理方法的演进未来半自动治理人工治理早期 SRE只聚焦于基础设施业务稳定性介入少人工梳理链路人工确认强弱依赖人工计算流量比例人工成本高业务覆盖不全, 业务变更不敏感时间轴自动链路梳理人工确认强弱依赖半自动化验证 ?

11. 全自动链路梳理基于OTEL技术的全链路追踪能力生成链路拓扑. 获取链路拓扑视图。获取链路子节点。单次请求聚合计算拓扑获取每个子节点

12. 人工确认强弱依赖计算获取单服务的上下游依赖后,人工判断强弱依赖自动化发现新节点,或者变更的依赖, 要求SRE人工判断

13. 半自动化验证对接演练平台, 自动生成演练case, 人工介入演练

14. 强依赖服务治理强依赖服务保障类型强依赖独立资源池 ✓ 绑核 ✓ 变更管控 ✓ 双活 ✓ 应急预案 ✓ 服务解耦 ✓ 核心监控 ✓

15. 目录 CONTENTS 01 得物C端链路的特点与挑战 03 变更管控 02 链路稳定性治理方法的演进 04 监控与告警

16. 变更管控发布变更对服务进行迭代,包含服务代码,数据库变更, 数据刷数等＞50% 标题内容因变更得物去年故障中, 配置变更基于配置中心对服务的配置, 规则进行调整. 导致的占比超过50% 运维变更由运维人员进行的一些变更操作。

17. 发布变更的优化-蓝绿部署早期, 我们采取的是滚动部署的方式进行服务部署问题: • 发布后直接对接流量,用户会快速感知故障 • 回滚时长慢 • 存在严重的上下游服务依赖

18. 发布变更的优化-蓝绿部署升级蓝绿发布,这种方式可以保证单边发布,还支持灰度切流优点: 缺点: • 发布后可灰度, 影响较小 • 成本较高 • 出问题后回滚快,只需切流即可 • 对自动化及运维监控能力要求高

19. 发布变更的优化-应用架构流量规则SDK: • 识别发布通道 • 接收变更事件 • 实现流量控制

20. 蓝绿部署架构-MQ 多消费组模式 • 原始消费组消费无标识流量 • 蓝消费组消费蓝标流量 • 绿消费组消费绿标流量

21. 发布变更的优化-容器 • 拆分workload. • 由上层统一调度双边节点

22. 蓝绿部署架构-发布流程日常流量开始发布 • 双边流量互通 • 创建发布通道 • 流量均衡 • 切分单边流量蓝集群(右侧)摘流发布 • 蓝集群流量为0 蓝集群(右侧)引流 • 蓝集群小流量

23. 发布变更的优化-发布监控 • 实时观测观察流量比例 • 观察服务错误状态

24. 运维变更优化运维变更的特点: 治理三板斧: 规范 • 难管控 • 人为影响因素高 • 破坏性大运维变更自动化流程

25. 运维变更规范-规范变更对象等级变更等级变更操作等级等级业务系统高 P0 级业务系统变更对象等级中线上非P0 级应用低内部系统高风险低风险高中 P0 P1 P2 P2 低 P2 P2 变更要求变更操作等级等级高操作类型修改,删除,缩容变更等级 P0 P1 低新增,扩容 P2 申请时效至少提前 12 小时变更窗口 02:00 - 06:00 02:00 - 06:00 任意时间变更方案回滚方案交叉审核可灰度 √ √ √ √ √ √ 非必须非必须 √ 非必须非必须非必须

26. 运维变更优化-流程常规变更紧急变更

27. 运维变更优化-自动化白屏操作工单审批自动化执行人工确认

28. 目录 CONTENTS 01 得物C端链路的特点与挑战 03 变更管控 02 链路稳定性治理方法的演进 04 监控与告警

29. 监控与告警服务 OOM 服务出现异常机器宕机错误率上升 RT上升订单下跌 Redis连接失败下游错误率上升关键词 CPU飚高在最初,告警噪音大、故障追溯难服务不可用!

30. 监控与告警-告警治理告警分类无效告警治理告警分级合理配置告警类型,进行告定期统计高峰告警响应情根据告警的影响因素,合理警分组操作, 便于对告警况, 分析情况后推进处理设置告警优先级,确保关键进行统计或紧急的告警能够及时通知运维人员

31. 基于SLO的告警 V(容量) A(可用性) 创建订单接口异常下跌创建订单可用性异常(客户端) SLO告警 SLI指标: VALET 方法 L(延迟) E(错误) T(故障单) 创建订单接口大于XXX ms的比例大于创建订单稳定性大于 XXX 99.99% 创建订单接口错误率大于XX(服务端) 客服工单响应数

32. 故障定位基于trace链路,快速定位故障

33. THANKS