阿里云弹性计算稳定性建设和云上运维最佳实践

如果无法正常显示，请先停止浏览器的去广告插件。

1. 阿里云弹性计算稳定性建设和云上运维最佳实践李刚 (东任) 阿里巴巴高级技术专家

3. 大纲 • • • 阿里云弹性计算概念阿里云弹性计算稳定性建设实践阿里云弹性计算云上运维最佳实践

4. 什么是阿里云弹性计算？ • 又名云服务器ECS（Elastic Compute Service） • 云计算最核心基础IaaS服务之一 • 让大家像使用水、电、天然气等公共资源一样便捷、高效地使用服务器，实现计算资源的即开即用和弹性伸缩

5. 阿里云弹性计算稳定性建设实践

6. 双轮驱动下的弹性计算极致稳定性诉求百万级外部客户 2019阿里全面上云对弹性计算稳定性强依赖开机自启动客户占比在线业务场景游戏直播创业期业务 …… 10% AI大模型离线场景 21.3% 90% 无开机自启动有开机自启动训练集群日化故障率 14.8% 7.7% 0.8% 10 1.6% 20 2.4% 30 3.9% 50 100 模型训练集群节点数 200 300

7. 目标：用x86的硬件，提供小型机级别的稳定性现实目标体感可用率体感可用率 VM 10x ECS平台小型机 x86服务器 X86 小型机 ECS x86服务器

8. 挑战：复杂度和规模镜像/Guest OS Aliyun linux 裸金属实例 vm实例 ECI实例存储 (块存储) kvm/Near-Metal Hypervisor 轻量虚拟化沙箱 CIPU、块存储TDC 网络AVS、管控运维虚拟网路 (vpc) Ali OS 服务器物理网络数据中心基础设施复杂度供应链 20+ 80+ 数据中心区域(Region) 可用区(AZ) ~5000+ ~1000000+ 集群(Cluster) 设备(Server) 2023年4月规模

9. 识别问题：宕机、夯机、抖动 • 宕机 • • 夯机 • • 抖动 • 现象：ECS资源100%不可用，多数因基础设施、服务器硬件或底层软件原因导致。影响：所有未持久化的数据和配置都将丢失，该ECS实例上的业务将完全中断。现象：ECS资源服务时断时续，甚至某些核心功能不可用或无法连接和操作。如：OS 夯，IO hang等。影响：未持久化数据尚未丢失，但整个ECS几乎无法使用，有时甚至无法恢复、没有备份的机会。现象：ECS资源核心服务可以正常使用，但在极端情况下会出现网络或性能抖动。影响：着重影响抖动敏感用户，性能抖动可能导致用户压测等容量规划付之东流，甚至可能因抖动引发用户应用系统雪崩效应，导致整体业务中断。

10. 量化问题：从客户体感视角全面度量稳定性过程和结果影响客户稳定性体感的技术指标实例宕机宕机率数量 GuestOS panic 率实例夯机夯机率实例抖动有损率实例主动运维客户稳定性体感结果指标主动运维率事件响应成功率工单客户体感可用率时长数量时长积分客户侧应用架构容错容灾能力数量客情时长数量时长积分稳定性客诉率

11. 解决问题：弹性计算稳定性系统工程稳定性重保体系重保机制重保等级和套餐重保技术支撑平台客户侧联动体系线上守护体系线下预防体系产品设计产品适配产品验收硬件准入标准业务适配验收报告稳定性准入标准基础设施适配稳定性准出标准智能故障预测灰度发布能力数据和算法底座监控诊断能力异常调度能力故障快恢能力事件中心事件订阅事件响应

12. 线下预防体系稳定性评估报告 ECS 产品线运维验收准出标准产品定义硬件设计软硬件适配基础设施公开对外服务线上准入稳定性测试和验收部件测试整机测试供应商实验室 ODM实验室设计研发阶段工厂制造阶段阿里实验室 IDC交付阶段测试系统 - 基线库、工具库、用例库 ECS 产品线业务监控适配业务部署适配异常业务隔离适配基础设施基础监控适配装机等基础系统适配升级维修等能力适配 ECS 产品线基础设施功能需求性能需求硬件准入标准功能稳定性需求可运维性需求运维准入标准性能稳定性可运维性

13. 线上守护体系：智能故障预测内存宕机率月宕机率(%%) 年宕机率(%%) 实时故障预测采集系统业务内核特征公共层模型预测运维决策样本生产非预期宕机运维高优先级可预期宕机运维低优先级模型融合 Error Pattern 特征编码硬件 Dry Run 性能评估宕机事实验证主动运维自然宕机深层轮转部件压测隔离/热迁移模拟负载限流/兜底/开关数据底座特征数据模型生命周期管理宕机标签推送决策异常调度数据链路(实时/离线) 评价模型runtime

14. 线上守护体系：灰度发布能力问题解决方案地域、组件、资源等维度待变更范围变更是导致故障和损失的头号杀手用户影响编排服务 10% 单机房故障损失多机房故障损失组合、排序获取发布批次资源创建灰度编排 90% 变更平台创建发布任务批次资源变更资源变更状态资源变更状态检查熔断生成资源变更集熔断保护熔断指令 30% 70% 变更导致其他导致熔断服务通知异常诊断实时计算关联分析熔断判定引擎熔断通知订阅

15. 线上守护体系：监控诊断能力场景输出异常调度体系全链路诊断（客户侧自诊断）故障恢复事件输出诊断服务异常特征提取多维特征关联分析关联维度聚合根因诊断基础设施维度服务器维度飞天核心组件维度实例维度异常数据监控采集 IDC环境异常基础设施工单服务器掉电硬件故障资源争抢网络延迟高实例crash 实例hang 网络设备异常 …… 资源争抢 …… IO中断/hang …… 心跳异常 …… 基础设施层原始数据监控采集 IDC 飞天核心组件层服务器层功耗交换机 CPU OS日志温度带宽状态内存资源隔离暖通供电 …… 物理网络网络延时网络丢包 …… 硬件主板电源/风扇 …… OS 内核调度状态 coredump …… 虚拟化组件 CIPU组件云网络组件块存储组件管控运维组件 ……

16. 线上守护体系：异常调度能力数据洞察（Matrix） API Dashboard 业务策略在线数据分析离线数据分析调度体系事件中心机器学习算法异常宿主机调度异常实例调度异常库存管理 …（其他异常资源管理、调度）数据仓库（汇集/清洗）异常调度工作定时任务监控数据事件中心 ECS实例事件中心事件中心飞天核心组件物理服务器基础设施客户异常报障监控诊断中心宿主机调度业务规则工作流引擎实例调度库存管理 …（其他资源管理、调度）正常调度工作外部交互系统

17. 线上守护体系：故障快恢能力目标：1 - 5 - 10 整体思路故障预案和SOP 故障快恢系统故障处理预案人流程故障应急处理人员工具故障预案和SOP 批批批批量量量量宕夯脱掉机机网电故障总指挥监控系统故障处置角色故障处理角色客诉处理角色应急角色小组 …… 故障应急流程原因进展 ECS恢复 war room ... 故障处理SOP 故障快速恢复系统故障演练全面验收影响范围故障看板故障演练体系故障处理并发止损安全控制实时状态探测故障感知故障漏检录入告警动态聚合数据支撑 ECS数据中台故障实时更新根因诊断根因诊断平台异常调度体系演练日常类型演练三新演练开服演练突袭演练批量宕机批量夯机批量脱网 ... 演练场景演练 Gamma 环境开服环境线上环境故障演练平台平台支撑能力场景管理用例创建对象圈定故障注入报告生成环境恢复故障注入原子能力安全控制告警设置

18. 客户侧联动体系终端客户钉钉登录查看 OOS 直接调用控制台系统事件类型事件通知 MQ 订阅 OpenAPI 事件推送事件查询 ECS事件服务异常事件原始数据运维事件上报 … • 为规避底层宿主机软硬件隐患发起的主动功能维护事件非预期运维事件 • 底层宿主机突发软硬功能件故障导致的实例重启或宕机发送的事件本地盘实例事件 • 因本地盘实例故障或功能单磁盘故障发送的事件突发性能实例性能受限事件 • 突发性能实例的CPU 积分已耗尽，可能对功能实例性能产生影响的提醒事件实例因底层升级需迁移事件 • 升级或改造基础设施时，可能影响对应实功能例，提醒根据系统事件引导进行实例迁移实例费用事件 • 影响费用的事件，例如实例到期、账号欠功能费，导致实例即将被停止或释放 • 影响实例安全的事件，例如实例遭遇DDoS攻功能击或进入黑洞，导致实例安全受到威胁状态变化事件 • 实例的生命周期或其功能他状态发生变化时发送的事件计划内运维事件云监控事件来源 CIPU组件云网络组件块存储组件 …… 基础设施服务器内核虚拟化组件实例安全事件

19. 稳定性重保体系需求场景客户新业务上线重保体系重保机制重保分级审批机制重保评估机制重保准入标准重保阵型前台中台后台服务经理售后专家产研专家客户大型运营活动客户业务敏感期极致稳定性诉求重保等级和套餐客户重大变更期 …… 重保技术支撑平台一级重保研发与服务人力投入额外资源成本投入对后端服务影响三级重保研发与服务人力投入额外资源成本投入对后端服务影响重保业务模型二级重保研发与服务人力投入额外资源成本投入对后端服务影响四级重保研发与服务人力投入额外资源成本投入对后端服务影响重保原子能力重保策略

20. 阿里云弹性计算云上运维最佳实践

21. ECS云上运维最佳实践概览响应ECS系统事件建设高可用架构实例健康自诊断通过OPENAPI响应ECS系统功能事件，优雅规避实例运行风险通过HA能力提升应用单实例功能宕机容错和极端场景容灾能力对实例本身的系统、网络、磁功能盘等状态进行全方位诊断弹性能力规划容量建立应用防抖动能力网络连通性自诊断使用ECS弹性能力，自动规功能划管理应用系统容量水位选择适合的实例规格结合应用实际场景合理选择功能实例规格，兼顾成本和稳定设置合理的访问超时重试机功能制，规避实例短暂抖动对业务应用的影响问题规避可通过OPEN 功能 API等方式将 ECS实例问题报给阿里云应用侧止损可在应用层通过摘除流量或功能流量切换等方式先行止损选择适合部署方式结合应用场景，使用专用宿功能主机或部署集，实现亲和性或反亲和性部署问题止损问题诊断保持GuestOS更新不选择已经EOL的OS，定期更新系统补丁和软件驱动对不同ECS实例之间网络连通功能性进行全面诊断，定位网络不通的原因问题报障问题容错

22. 部署高可用架构，提升应用系统单实例宕机容错和极端场景容灾能力阿里云ECS实例可用性SLA 99.975% 单实例可用性SLA 99.995% 跨AZ多实例可用性SLA • 负载均衡SLB流量分发 • 单元化部署，架构消除拧麻花 • 容量规划N+1冗余 • 具备应用系统流量切换能力

23. 主动响应ECS系统事件，高效优雅规避实例运行风险阿里云ECS事件体系最佳实践典型示例云盘宿主机宕机风险 OPEN API 本盘宿主机宕机风险控制台本盘实例单磁盘故障云盘宿主机故障本盘宿主机故障实例性能受损 …… 实例硬件风险场景短信/邮件/站内信系统事件钉钉云监控终端用户 OOS MQ …… 本地磁盘故障场景 ECS硬件宕机风险阿里云发布系统事件用户提前摘除流量 OPEN API 用户恢复 ECS流量 ECS宕机风险消除用户响应系统事件本盘实例磁盘故障发布磁盘隔离事件用户响应隔离事件新盘插入重启实例 (视情况) 隔离坏盘初始化并挂载新盘重启实例 (视情况) 实例磁盘恢复更多详见：查询和响应ECS系统事件

24. 通过ECS弹性能力，低成本自动规划管理应用系统容量水位业务场景无规律业务量波动业务量波动无规律，访问量突增功能和回落的具体时间难以预测 ESS弹性伸缩服务伸缩模式(触发伸缩活动) 固定数量模式健康模式定时模式自动模式动态模式 2. ExcuteScalingRule (Rule Ari) 有规律业务量波动每天固定时间业务量急速增长进功能入高峰期，到固定时间业务量下降，高峰期结束负载均衡 1. 监控健康状态和性能伸缩活动执行程序 3.3 创建伸缩活动功能伸缩组 ECS ECS ECS RDS RDS RDS 3.1 增加多少台ECS？ 3.2 创建什么类型的ECS实例？无明显业务量波动业务量无明显波动，如果现有计功能算资源突然出现故障，很难及时维修，导致业务受到影响伸缩组伸缩规则伸缩配置 4.2添加到伸缩组，并配置负载均衡和RDS 伸缩活动 4.1 创建ECS实例 ECS

25. 使用实例健康诊断能力，快速定位问题根因，高效完成ECS实例深度巡检痛点场景 1 实例健康诊断能力？应用系统触发监控告警，根因难以定位，到底是云的问题还是自身系统问题？ 2 ？业务大促前，需要对云资源做一次全面深度巡检，如何高效实施？计算服务诊断诊断ECS实例底层的资源和虚拟化层网络服务诊断检查实例内网络组件和外部网络环境异常存储服务诊断实例配置管理诊断检查实例磁盘和存储的运行状态检查实例启动或运行过程中，是否存在阻塞等操作安全控制诊断费用类诊断检查实例关联的所有安全组相关状态检查实例本身和实例关联组件的费用情况资源配额诊断 GuestOS内配置诊断检查核心资源使用量是否即将达到配额检查实例OS内系统文件、关键进程等状态使用方式选择问题类型输入实例和时间范围查看诊断报告开始诊断查询诊断指标管理诊断指标集合查询诊断报告创建诊断报告控制台 OPEN API

26. 回顾总结 1 • 什么是弹性计算？ 2 • 阿里云弹性计算稳定性建设实践 3 • 阿里云弹性计算云上运维最佳实践 - - - - - - - - - - 稳定性度量体系线下预防体系线上守护体系客户侧联动体系稳定性重保体系最佳实践概览部署高可用架构响应主动运维事件弹性能力管理容量自诊断定位根因

27. Q&A 谢谢！为了永不停机的计算服务！

28.