美图：低成本全链路监控实战与SRE稳定性运营

1. 围绕监控，浅谈SRE稳定性运营演讲人：石鹏(东方德胜)@美图全球敏捷运维峰会广州站

2. About me. • 石鹏(东方德胜) • 9年工作经历，传统行业&互联网运维 • 2016年加入美图，目前负责产品SRE团队 • 擅长领域：运维架构、SRE、监控/日志系统 • 当前：专注于云原生、智能运维方向全球敏捷运维峰会广州站

3. About Meitu：美图公司业务体系美图公司（1357.HK）成立于 2008 年 10 月，以“变美”为基因开发了一系列产品，目前已经覆盖超过 100 个国家和地区，在全球拥有 22.2 亿用户。我们的愿景是：整合变美生态链，帮助用户全方位变美。 ToC 面向用户影像美化美妆平台皮肤管理影像美化图片视频编辑工具高清试妆工具专业测肤工具颜值管家服务印刷品服务化妆品测评服务皮肤档案服务皮肤医生服务消费者社区 ToB 面向行业桌面版美图秀秀影像行业解决方案美妆行业营销数据与技术服务增值服务全球敏捷运维峰会广州站行业测肤技术服务化妆品功效检测服务

4. About Meitu：全球布局面向用户美图秀秀日本土耳其 VCUS 美妆相机美拍 Pomelo BeautyPlus 美图问医美图定制剪萌韩国巴基斯坦孟加拉国泰国尼日利亚 AirBrush 美颜相机面向行业菲律宾加拿大美国墨西哥越南马来西亚美图AI开放平台美图宜肤美图品牌星球美图云修印度尼西亚 Meitu ADX 广告流量联盟截至 2020 年 12月，海外月活跃用户数近 1 亿。此外海外用户总数达8.85亿，业务覆盖超过100个国家和地区。全球敏捷运维峰会广州站巴西

5. About Meitu：变美核心数据 2.61 月活跃用户数亿 22.2 亿独立设备数 60 亿照片和视频每月产生数数据截至2020年12月全球敏捷运维峰会广州站

6. 美图SRE的核心工作职责低成本全链路监控大盘实践基于企业IM机器人的图文告警实践基于监控体系的SRE稳定性运营实践未来展望

7. 美图SRE的核心工作职责全球敏捷运维峰会广州站

8. 美图SRE的核心工作职责 l 岗位：产品SRE l 职责：稳定性 ① 保障线上服务的建设工具/平台/基础设施提升效率 ③ 用技术手段来控制、优化服务的运行成本 ② l 愿景：做美图服务最稳的大后方全球敏捷运维峰会广州站

9. 如何平衡3个核心职责之间的关系稳定性效率成本全球敏捷运维峰会广州站

10. 如何量化评估？ If you can’t measure it, you can’t improve it. 如果你不能度量它, 你就无法改进它。 ---- Peter Drucker 彼得.德鲁克全球敏捷运维峰会广州站

11. 如何量化评估？稳定性/效率成本 SLO/SLI 资源使用量 MTTR/MTBF 资源利用率一套稳定可靠的监控系统必不可少全球敏捷运维峰会广州站

12. 低成本全链路监控大盘实践全球敏捷运维峰会广州站

13. 美图监控体系建设：监控组件选型 eBPF 全球敏捷运维峰会广州站

14. 美图监控体系建设：梳理归纳用户端监控 • • • • • • • • • 网络质量&异常内容&DNS劫持崩溃&卡顿返回码响应时间错误率慢请求请求吞吐量组合分析 • • • • • • • • 直播推流/拉流点播拉流主播监控视频监控直播/点播统计 CDN质量 CDN评分 CDN日志服务监控业务监控流媒体监控 • • • • • • • 业务可用性访问量/错误 Profile监控分布耗时 Trace监控 A/B Test监控日志中心 • • • • • • • 基础资源 DNS/ELB 七层负载均衡进程/端口后端资源云PaaS服务 SLA体系产品运营指标 • • • • • • • 第三方拨测自研流媒体监控 InfluxDB套件 ElasticStack 自研APM 自研CDN监控 SkyWalking 大数据流式处理套件用户端质量监控体系云IaaS监控硬件监控网络监控专线监控 TCP监控容器监控内核监控 OpenFalcon 服务端质量监控体系 eBPF Prometheus

15. 美图监控体系建设：统一报表入口结果：监控数据汇总到同一个平台，权限统一管控全球敏捷运维峰会广州站

16. 美图监控体系建设：报表收敛/规范客户端典型请求链路中间链路 LB入口服务端周边依赖痛点：数据散落在多个Dashboard 全球敏捷运维峰会广州站后端资源

17. 美图监控体系建设：报表收敛/规范形成流程规范 • Grafana中各种资源的申请和使用约束 • 数据源的管理规范 • 权限管理规范 • Org/报表命名规范结果：监控数据汇总到同一张Dashboard 全球敏捷运维峰会广州站

18. 美图监控体系建设：还可以更进一步么? 多个平台 • 覆盖全面 • 数据散落? • 权限混乱? 一个平台一个页面 • 数据集中 • 权限统一 • 多张图表 • 分层展示 • 多个页面? • 缺乏层次? • 关联关系? • 全局视角? 监控报表的演进过程全球敏捷运维峰会广州站更进一步? • How?

19. 基于FlowCharting的监控大盘实战全球敏捷运维峰会广州站

20. 基于FlowCharting的监控大盘实战 - Step By Step: 绘制大盘全球敏捷运维峰会广州站

21. 基于FlowCharting的监控大盘实战 - Step By Step: 绘制大盘全球敏捷运维峰会广州站

22. 基于FlowCharting的监控大盘实战 - Step By Step: 导入Grafana 全球敏捷运维峰会广州站

23. 基于FlowCharting的监控大盘实战 - Step By Step: 导入Grafana 全球敏捷运维峰会广州站

24. 基于FlowCharting的监控大盘实战 - Step By Step: 绑定数据源全球敏捷运维峰会广州站

25. 基于FlowCharting的监控大盘实战 - Step By Step: 配置展示规则全球敏捷运维峰会广州站

26. 基于FlowCharting的监控大盘实战 - Step By Step: 配置展示规则全球敏捷运维峰会广州站

27. 基于FlowCharting的监控大盘实战 - Step By Step: 关联图形全球敏捷运维峰会广州站

28. 基于FlowCharting的监控大盘实战 - Step By Step: 重复上述步骤全球敏捷运维峰会广州站

29. 基于FlowCharting的监控大盘实战：最终效果全球敏捷运维峰会广州站

30. 基于FlowCharting的监控大盘实战：总结方案优点 • 容易操作 • 展示灵活 • 无需复杂技术支持方案局限性 • 监控数据需要前置 • 数据关系静态维护 • 推广的边际成本高全球敏捷运维峰会广州站注意事项 • 元素数限制(可突破)

31. 基于企业IM机器人的图文告警实践全球敏捷运维峰会广州站

32. 基于企业IM机器人的图文告警实战-核心目标 Ø 提高告警消息的信息密度 (一图胜千言) Ø 快速感知服务整体状态 (上下游/周边依赖) Ø 缩短故障定位时间, 降低MTTR, 提升服务稳定性全球敏捷运维峰会广州站

33. 基于企业IM机器人的图文告警实战-思路介绍全球敏捷运维峰会广州站

34. 基于企业IM机器人的图文告警实战-Step By Step: 创建群机器人&Grafana API Key 获取企业微信Webhook 获取Grafana Org API Key 全球敏捷运维峰会广州站

35. 基于企业IM机器人的图文告警实战-Step By Step: 获取Grafana-Panel图形链接全球敏捷运维峰会广州站

36. 基于企业IM机器人的图文告警实战-Step By Step: 获取Grafana-Panel图形链接全球敏捷运维峰会广州站

37. 基于企业IM机器人的图文告警实战-Step By Step: 获取监控Panel渲染图API调试全球敏捷运维峰会广州站

38. 基于企业IM机器人的图文告警实战-Step By Step: 配置告警策略&实现告警扩展全球敏捷运维峰会广州站

39. 基于企业IM机器人的图文告警实战-Step By Step: 告警示例全球敏捷运维峰会广州站

40. 基于企业IM机器人的图文告警实战：注意事项方案优点 • 容易操作 • 方案简单 • 无需复杂技术支持方案局限性 • 监控图表需要前置 • 推广边际成本中等全球敏捷运维峰会广州站注意事项 • 渲染组件性能瓶颈 • 多Org权限管理

41. 基于监控体系的 SRE稳定性运营实践全球敏捷运维峰会广州站

42. SRE稳定性建设全景图 Pre-MTBF MTTI MTBF MTTK MTTF MTTV MTTR Post-MTBF MTBF 故障改进故障预防故障发现故障定位故障恢复灾备预案监控告警日志分析故障隔离故障复盘容量评估常规巡检监控分析容灾切换改进验收架构设计用户反馈链路跟踪服务限流故障模拟监控覆盖舆情感知场景复现服务降级混沌工程持续交付智能预测根因定位异常熔断周边清查建设/演练/OnCall 应急响应复盘/改进/OnCall

43. SRE稳定性建设全景图 Pre-MTBF MTTI MTTK MTBF MTTF MTTV MTTR MTBF 故障预防故障发现故障定位故障恢复灾备预案监控告警日志分析恢复确认容量评估常规巡检监控分析架构设计舆情感知链路跟踪监控覆盖智能预测根因定位建设/演练/OnCall 应急响应效率支撑 Post-MTBF 故障改进故障复盘复盘/改进/OnCall 成本

44. SRE稳定性运营实践: 回归核心价值看我们可以做什么? 稳定性成本效率/支撑 Ø 监控/告警覆盖 Ø 业务理解 Ø 资源用量监控 Ø 大盘推广应用 Ø 个性化支撑 Ø 资源利用率监控 Ø 应急响应 Ø 服务周期巡检 Ø 容量规划 Ø 灾备体系建设 Ø 稳定性运营报告 Ø 成本分析 Ø 容量体系建设 Ø 业务架构优化持续输出定期复盘量化结果不断迭代全球敏捷运维峰会广州站长期主义

45. SRE稳定性运营实践: 我们做了什么? 巡检/统计(各类机器人) SLA巡检 / 网络巡检全球敏捷运维峰会广州站每日资源统计

46. SRE稳定性运营实践: 我们做了什么? 稳定性运营报告稳定性运营报告体系全球敏捷运维峰会广州站假节日运营报告

47. SRE稳定性运营实践: 我们做了什么? 稳定性运营报告报告结构报告内容样例全球敏捷运维峰会广州站

48. SRE稳定性运营实践: 演进方向数据化 • 量化评估 • 数据思维 • 数据意识自动化 • 解放人力 • 提高效率体系化 • 有点到面 • 全局视角 • 能力扩展全球敏捷运维峰会广州站智能化 • 数据分析 • 智能预测 • 科技赋能

49. SRE稳定性运营实践：我们正在做什么? 稳定性运营平台运营报告-自动化 • • • • • 更多运营活动覆盖覆盖已有报告场景通用报告需求支持数据解读/报告审批统一接入规范开放配置/报告分发&订阅全球敏捷运维峰会广州站 • • • • OnCall轮值节假日值守 SRE权威消息发布故障发现/报告生成

50. SRE稳定性运营实践：我们正在做什么? 稳定性运营平台报告列表全球敏捷运维峰会广州站

51. SRE稳定性运营实践：我们正在做什么? 稳定性运营平台报告模板全球敏捷运维峰会广州站

52. SRE稳定性运营实践：我们正在做什么? 稳定性运营平台报告批注全球敏捷运维峰会广州站

53. SRE稳定性运营实践：我们正在做什么? 稳定性运营平台报告样例全球敏捷运维峰会广州站

54. SRE稳定性运营实践：我们正在做什么? 由「监」到「控」全球敏捷运维峰会广州站

55. SRE稳定性运营实践：我们正在做什么? 由「监」到「控」全球敏捷运维峰会广州站

56. SRE稳定性运营实践：我们正在做什么? 关于成本管控成本报表审批流程资源申请资源监控资源分配持续优化成本核算资源分配利用率监控压测平台账单分析资源评估配额调整容器平台成本中心监控系统利润中心全球敏捷运维峰会广州站

57. 内容回顾 / 未来展望全球敏捷运维峰会广州站

58. 内容回顾 SRE核心价值 2个实践案例 • 稳定性 • 效率/支撑 • 成本 • 监控大盘 • 图文告警全球敏捷运维峰会广州站稳定性运营 • 回归价值 • 持续输出 • 能力扩展

59. 未来展望拥抱变化顺势而为葆有价值泰然自若云原生容器技术微服务服务网格全球敏捷运维峰会广州站 DevOps

60. 未来展望：坚定地看好AI 全球敏捷运维峰会广州站

61. THANK YOU！全球敏捷运维峰会广州站