“数智”运维：阿里大数据AIOps工程实践

1. “数智”运维阿里大数据 AIOps 工程实践演讲人：徐小飞

2. 徐小飞 “数智”加速运维进化高级技术专家带领团队打造支撑阿里飞天大数据及AI平台的底座 ——大数据运维平台ABM（Apsara Big Data Manager）产品，该运维平台沉淀了阿里巴巴大规模分布式系统集群及业务管控最佳实践，支撑阿里大数据 &AI系统在集团、公有云及混合云的上云、云上日常运维运营及云原生落地实践。曾就职：华为，先后在运营商BG的OCS/CBS计费平台、平台中间件、云运维平台部门从事产品规划与研发，参与国内外多个大T局点现场交付，带领团队从传统运维到云运维的转型。

3. Agenda 业务背景与运维挑战 “数智”运维架构数据与智能运维 AI O p s 业务场景工程实践思考

4. P a r t 1 ：业务背景业务背景：超大规模集群运维八数十数千数十万大数据产品数据中心集群节点 • 国内 • 海外 • 专有域 • 集群规模差异大 • 集群技术差异大 • 全托管与半托管 • 物理机 • 虚拟机 • 容器 • MaxCompute • Flink • Hologres • DataHub • PAI • DataWorks • EMR • Elasticsearch

5. P a r t 1 ：运维挑战业务挑战：增长需求 vs 有限资源稳定性挑战有限的人与资源日益增长的需求 • 单机故障在大规模集群中体现出必然性 • 集群复杂性带来监控与故障恢复的难度 • 高频发布变更与稳定性管控的冲突成本挑战 • 用户的资源需求超过资源供给能力效率挑战 • 大量琐碎的用户咨询影响工作效率 • 资源需求的峰谷差异导致资源浪费 • 无法清晰定义团队运维活动的价值

6. P a r t 2 ：数智运维架构业界应对策略：大数据&机器学习&AIOps 利用数据与算法，探索能为运维带来提效的业务场景

7. P a r t 2 ：数智运维架构应对策略—内核：从DataOps到AIOps 的数智运维架构构筑运维数仓，以场景数据驱动机器学习，沉淀智能模型，提供数智运维服务

8. P 4 ：工程实践思考稳定性、成本、效率下的典型场景举例

9. P a r t 3 ： A IO p s 业务场景 — —稳定性稳定性保障：异常检测，无阈值海量指标监控业务核心指标实现无阈值自动检测，对违反历史运行规律的指标提供告警

10. P a r t 3 ： A IO p s 业务场景 — —稳定性稳定性保障：日志聚类，海量日志模式分析寻找异常日志模式，监测其异常波动发出告警

11. P a r t 3 ： A IO p s 业务场景 — —稳定性稳定性保障：异常根因诊断与快恢利用数仓与异常实体相关指标事件，诊断定位问题根因

12. P a r t 3 ： A IO p s 业务场景 — —稳定性稳定性保障闭环：异常发现与快恢建立异常发现与快恢流水线，利用数据与算法助力SRE缩短异常处置时长

13. P a r t 3 ： A IO p s 业务场景 — —成本成本优化：弹性扩缩容通过预测集群资源需求的峰谷波动，实现资源的弹性扩缩容 ODPS ECS 弹性采购波峰时段 ECS 采购业务场景每日峰谷预测智能算法周期识别运维数仓 Blink Job 自动调优波谷时段 ECS 释放作业流量预测预测模型实体库资源分配决策决策模型指标库 PAI GPU 配额腾挪 GPU 用量预测低消耗减配高需求增配满足度评估事件库纯物理机供应模式 vs ECS性供应模式

14. P a r t 3 ： A IO p s 业务场景 — —成本成本优化：集群资源排布与迁移定期分析集群间的资源水位，利用线性规划算法寻找更合理的排布并推荐迁移方案

15. P a r t 3 ： A IO p s 业务场景 — —成本成本优化：日常低资源利用率机器治理通过核心指标与财年目标的差距跟踪，驱动低水位机器及时处理

16. P a r t 3 ： A IO p s 业务场景 — —效率效率提升：大促支撑热点机器治理在集群中，通过多个性能关键指标聚类寻找热点机器（离群点），快速排除性能瓶颈

17. P a r t 3 ： A IO p s 业务场景 — —效率效率提升：ChatOps，面向用户的智能答疑高频支撑场景ChatOps服务化，提高运维知识答疑、故障诊断、流程协同效率

18. P a r t 3 ： A IO p s 业务场景 — —效率效率提升：运维数字量化运营看板设定衡量运维研发/日常活动核心指标，建立跟踪系统逐步优化，通过运维大盘呈现顶层KPI

19. P 4 ：工程实践思考思考：AIOps工程实践的要点是什么？

20. P a r t 4 ：工程实践思考闭环：感知、决策、执行——自愈任务链以事件驱动的智能感知-决策-执行的闭环体系作为AIOps工程体系的基石系统检测 • 巡检任务 • 异常检测 • 检测出告警告警分析 • 关联分析 • 报警压缩 • 分析出异常异常诊断 • 根因分析 • 诊断出新异常异常诊断 • 诊断树 • 诊断出根因决策执行 •恢复作业 •变更通知

21. P 4 ：工程实践思考重新定义：系统进化—云原生应用/运维规范OAM 将运维和基础设施能力——抽象服务化进行输出的最佳实践（Traits）寻找云原生下的运维载体： • 当K8s成为云原生的事实标准后，需要寻找在K8s理念体系下的运维实现——其中OAM规范中的Traits理念非常适合作为云原生下运维的载体。 • 运维根据应用描述，为应用添加对应的Traits，比如弹性扩缩容可能是一种Trait，日志可能是一种Trait、监控可能也是一种 Trait。 • 通过运维Traits输出，研发无需关注底层运维细节，只需声明应用想拥有的运维能力，实现应用运维的自动化托管，而且各种运维能力可以自由组合，实现应用稳定高效的运行

22. P 4 ：工程实践思考即将开源：一站式运维SaaS——开箱即用开源运维产品：针对运维日常工作，围绕运维领域“稳定性，成本，效率，安全，体验”本质需求，基于“自动化、数据化、智能化”思想，为用户提供专业高效、安全可靠的一站式“数智化”运维SaaS应用套件（交、监、管、控、营、服）

23. P 4 ：工程实践思考即将开源：一站式运维SaaS——开箱即用

24. THANK YOU!