美团运维自动化的演进

1. 美团运维自动化的演进演讲人：万千强 2021年8月 1

2. 自我介绍 Ø2014年8月加入美团 Ø7年运维经验 Ø服务运维部/运维工具开发组 2

3. 目录 • 一、无自动化时期（早期阶段） • 二、半自动化时期（过渡阶段） • 三、系统化、标准化（当前阶段） • 四、AI智能化探索（未来方向） 3

4. 人类演变史石器时代青铜时代农业时代工业时代信息时代 4

5. 自动化驾驶分级 5

6. 运维自动化的分级 6

7. 生存大于一切 • 运维的工作内容 • 搬机器、装机器 • 装软件、帮发布 • 重启服务/机器 • 生存大于一切 • • • • 业务整体规模小业务生存压力大业务需要变化快全公司一个运维 7

8. 目录 • 一、无自动化时期（早期阶段） • 二、半自动化时期（过渡阶段） • 三、系统化、标准化（当前阶段） • 四、AI智能化探索（未来方向） 8

9. 脚本运维 • 业务体量变大 • 研发人数膨胀 • 服务器增长快 • 运维/研发占比降低 • 自动化平台建设初期美团现在运维/研发=1:200 9

10. 美团早期脚本运维举例运维都有自己的工具库 • 优势 • 解决问题 • 灵活变化 • 劣势 • 风险未知 • 不可复用 10

11. 目录 • 一、无自动化时期（早期阶段） • 二、半自动化时期（过渡阶段） • 三、系统化、标准化（当前阶段） • 四、AI智能化探索（未来方向） 11

12. 运维工作领域 12

13. 自助运维平台-Avatar 面向美团所有技术人员的符合统一运维规范的自助运维平台。万级别千级别管理服务数日活跃用户数万级别 99.9% 周变更流程数流程成功率 13

14. 自助运维平台-设计思路 • 从变更场景中抽象原子化动作，编排流程，支撑更多变更场景 14

15. 自助运维平台-流程设计 • 模板中心 + 流程管理端 + 执行引擎 15

16. 主机管理-闭环 • 围绕实例生命周期 • 围绕主机运维操作 16

17. 主机管理-可靠变更 • 对齐代码发布流程 • 任何操作可控、可溯源、可回滚 17

18. 登录管理-跳板机 18

19. 登录管理-操作风险闭环 • 执行前：命令可拦截 • 执行后：操作可追溯 19

20. 告警中心-AC • 提供统一接入能力 • 发送媒介 • 信息内容 • 参数配置 • 提升告警处理能力 • 告警规则 • 告警聚合 • 提升告警数据管理 • 告警查询 • 告警订阅 20

21. 故障处理-雷达自动发现故障，协助定位故障，组织故障处理过程的管理工具发现故障故障复盘修复故障分析根因定位故障 21

22. 故障复盘 • 发现时长/发现方发生时间 • 定位时长/定位方发现时间 • 响应时长/事故处理流程通知时间 • 处理时长 • 影响时长/影响方 • 损失/定级响应时间开始处理时间定位时间处理完成时间发现时长响应时长定位时长影响时长处理时长影响消除时间 22

23. 变更管控变更管控的意义： • 所有变更系统每天变更次数超百万 • 2020年因变更导致的S4+事故超过4成 • 不同系统变更管控能力参差不齐 • 无法统一落地规范和治理变更 23

24. 变更管控-生命周期 • 变更前、变更中、变更后 24

25. 变更管控-系统设计 • 因子：事件的“特征”，如是否为生产环境、服务的高峰期时段等 • 算符：逻辑运算符，&|！>< • 规则：因子+算符组合的规则，只返回决策结果：命中和未命中 25

26. 风险管理-先知提前发现潜在风险，保障业务稳定 • 先知上线前 • 缺乏高效的风险发现手段 • 风险修复过程不标准 • 先知的目标 • 风险巡检 • 风险规则运营 • 风险事件发现 • 风险治理 • 风险事件修复 • 风险事件运营 26

27. 预算管理-资产信息化过去的问题： • 资源用量不透明 • 预算随意无计划 • 资源浪费随处可见实现目标： • 资源使用可量化 • 计费模式公有云化 • 预算计划合理化 27

28. 预算管理-预算转化从业务需求到PaaS、SaaS、IaaS产品，到资源交付标准化，实现资源的精细化管理 28

29. 目录 • 一、无自动化时期（早期阶段） • 二、半自动化时期（过渡阶段） • 三、系统化、标准化（当前阶段） • 四、AI智能化探索（未来方向） 29

30. 智能化运维探索 A. 故障处理方向 • 异常检测、预测 • 根因分析 • 故障自愈 B. 预算预测方向 • 用量预测 • 资源画像 C. 问答机器人方向 • 自助问答机器人 • 问题快速处理 30

31. Q&A 招聘：运维开发北京&上海更多技术干货欢迎关注“美团技术团队” “码”上投简历欢迎加入我们 31