阿里云大数据计算平台基于 AIOps 的根因定位实践

1. 阿里云大数据计算平台基于AIOps的根因定位实践阿里云算法专家/ 张颖莹

2.

3. 演讲大纲 01 阿里云大数据运维背景 02 大数据运维中的根因定位 03 阿里云根因定位实践 04 根因定位背后的算法和工程链路 05 总结和展望

4. 01 阿里云大数据运维背景

5. 阿里灵杰

6. 阿里云大数据计算平台典型业务场景大数据计算平台大数据计算服务 MaxCompute 实时计算 Flink版阿里云ABM 运维中台实时数仓 Hologres ……

7. 智能运维AIOps 大规模实时性核心业务架构复杂效率 AIOps 稳定性成本海量多源异构数据

8. 02 大数据运维中的根因定位

9. 根因定位业务价值 Mean Time To Resolve（MTTR）问题发生异常发现根因定位问题恢复缩短MTTR，保障SLA（Service Level Agreement）

10. 根因定位问题定义当我们在谈论根因定位时，我们究竟在谈论什么？维度下钻根因分类因果推断定位结果根因维度根因类别根因节点/路径核心挑战庞大搜索空间特征构建因果图构建和推断

11. 根因定位的普遍性难点数据来源和类型复杂标注样本数量少指标间存在复杂的关联关系全新的根因类型或表现形式性能和实时性要求高专家经验与模型能力的结合

12. 03 阿里云根因定位实践

13. 案例1：多维数据下钻分析服务整体流量指标地域集群机房 Q：哪些维度导致了服务整体流量下跌？具体是哪几个用户/机房？用户应用应用

14. 案例1：DrillUp下钻分析框架难点如何量化一个维度是根因的可能性面对庞大的搜索空间如何提升性能解决方案       显著度（自身变化）惊喜度（子节点分布）贡献度（总体占比）自动选择最优的搜索方向快速剪枝高效的数据结构（BitMap）

15. 案例2：计算平台故障根因类型定位模块资源调度存储 Flink YARN NM decommissioned YARN RM switch YARN resource preemption … HDFS service unavailable HDFS usage over limit HDFS call queue full … 机器网络其他 Upstream-TT Upstream-SLS … MaxCompute Hologres 根因类型 Fuxi master fail ASI server overload Fuxi tobo fail ASI node fail Fuxi apiserver overload ASI apiserver overload … … pangu server unavailable pangu master failover pangu master queue size full pangu server write slow pangu chunkserver failover … oom io hang disk failure cpu usage over limit machine breakdown … martnet exception qos exception lvs exception … Tunnel POP Frontend DNS … … Q：故障发生时是平台哪个模块导致的？具体是哪种类型的原因？

16. 案例2：计算平台故障根因类型定位特征构建指标异常检测事件日志拓扑实时在线聚类日志聚类 log 指标构建 •NLP •日志类别 •层次聚类 •维度

17. 案例2：计算平台故障根因类型定位样本积累 Flink MaxCom pute Hologres 故障演练数据增强

18. 案例2：计算平台故障根因类型定位定位模型事件基于知识的层次贝叶斯网络（KHBN） • 指标层因果关系构建值为0/1 指标的日志时间序列指标层 PC Algorithm 实体关系拓扑根因层专家定义的根因类型模块1 模块2 模块3 … 类型1 类型2 类型3 … • 根因分类条件概率 type ∗ i = argmax t i P t i |m k , s 1 , s 2 , …, s j P m k |s 1 , s 2 , …, s j

19. 案例2：CloudRCA根因定位框架事件中心事件 PMDB 日志存储系统 CMDB 日志指标实体关系日志聚类周期识别和分解异常检测预处理模板提取 (AFT-tree) 向量化 (Word2Vec) 实时聚类 (Hierarchical Clustering) 优势 •整合多源异构数据 •融合了专家知识和数据智能的层次贝叶斯网络特征数据（标准化0/1时间序列）故障演练带标注样本数据基于知识的层次贝叶斯网络（KHBN）根因推断 [1] Zhang Y, Guan Z, Qian H, et al. CloudRCA: A Root Cause Analysis Framework for Cloud Computing Platforms[C]//Proceedings of the 30th ACM International Conference on Information & Knowledge Management. 2021: 4373-4382. •可应对全新的故障类型 •可迁移的通用学习框架

20. 案例3：网络故障根因类型定位 ICASSP’22 AIOps Challenge网络智能运维大赛 Q：根因是哪种类型或哪几种类型的组合？

21. 案例3：网络故障根因类型定位特征构建时序特征 tsfresh 方位特征缺失特征特征依赖方向+距离利用归因模型进行拓展拓展出交叉特征

22. 案例3：网络故障根因类型定位数据增强未打标数据标签拓展多维时间序列相似度计算 Eros (Extended Frobenius norm) 标签拓展已打标数据标签补充时间戳对齐

23. 案例3：网络故障根因类型定位定位模型分类模型 XGBoost 规则生成模型基于树模型的规则生成 Skope-rules 归因模型特征重要性计算 Shapley value 因果图模型 PageRank 随机游走融合模型

24. 案例3：NetRCA根因定位框架原始数据优势时序特征方位特征补全特征交叉特征样本相似度计算样本标签补全特征工程数据增强派生数据分类模型规则生成模型归因模型图模型集成模型 •充分挖掘的时序特征和特征间的关联关系 •充分利用了未打标的数据 •集成模型兼顾了准确性和可解释性 [2] Zhang C, Zhou Z, Zhang Y, et al. Netrca: an effective network fault cause localization algorithm[C]//ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2022: 9316-9320. 根因推断结果

25. 04 根因定位背后的算法和工程链路

26. 根因定位算法工具箱

27. AIOps背后的数据和工程链路指标运营 AIOps平台稳定性SLA指标平均故障发现时间平均故障处理时间 …… MaxCompute/Flink/Hologres系统异常根因定位 …… 运维中台流程平台通知服务作业平台 …… 计算服务 MaxCompute Flink 机器学习平台PAI …… 算法服务异常检测日志聚类因果推断 …… 数据存储性能指标库PMDB 事件中心日志中心SLS 配置管理库CMDB 数据采集指标告警/操作事件日志实体拓扑关系

28. 05 总结与展望

29. 总结效率 Mean Time To Resolve（MTTR）维度下钻 DrillUp 根因分类 CloudRCA 因果推断 NetRCA AIOps 问题发生稳定性异常发现根因定位问题恢复成本数据来源和类型复杂时序分析标注样本数量少日志分析故障演练指标间复杂的关联关系归因模型拓展特征性能和实时性要求高剪枝 Flink 数据增强全新的根因类型或表现形式因果分析因果推断专家经验与模型能力的结合因果图构建

30. 思考和展望数据来源特征工程样本积累模型构建云原生可观测性 Metric/log/trace 算法工具箱链路实时性混沌工程数据增强推断能力可解释性 https://github.com/alibaba/SREWorks SREWorks 云原生数智运维平台部分算法服务在未来将陆续通过SREWorks输出，欢迎关注！

31.