网易游戏AIOPS探索与实践

1. 网易游戏AIOPS探索与实践网易游戏技术中心施望全球敏捷运维峰会广州站

2. 保证服务质量的前提下，降低成本，提高运维效率完善的平台系统支撑高效运维全球敏捷运维峰会广州站

3. 数据效率算法 AIOPS 质量成本  智能变更  故障发现  成本优化  智能问答  故障诊断  性能优化  智能决策  故障预测  容量规划  容量预估  故障自愈  资源规划全球敏捷运维峰会广州站

4. 2016年开始, 网易游戏在Aiops这条道路上持续探索，力求实现从人工运维到智能化运维的转变全球敏捷运维峰会广州站

5. 通过 AI 算法，自动、实时、准确地从监控数据中发现异常，为后续的诊断、“自愈”提供基础。  不同的曲线配置不同的阈值，曲线多, 人工配置成本高  随着业务变化，预定义的阈值需要随之变化，运维成本高  本身含有噪声，难以区分噪声和异常数据，需要花费大量人力检测  无需人工设置阈值  灵活贴近业务特性，提供精准告警  结合人工标注数据，自动调参，自动迭代全球敏捷运维峰会广州站

6. 指标类型业务黄金指标性能指标文本数据特性典型几个场景 • • • • 周期性强曲线波动小指标量级小准确率、召回率要求高游戏在线人数业务slo • • • • • 指标之间形态差异大指标量级大周期性不确定对异常定义认知有差异准确率、召回率要求中等内存（内存泄漏） cpu飙升消息队列堆积 • • 非结构化数据量级大全球敏捷运维峰会广州站错误日志监控日志精简优化 tracing

7. 全球敏捷运维峰会广州站

8. 全球敏捷运维峰会广州站

9. 训练成本低指标量级大易解释场景需求不同易迭代全球敏捷运维峰会广州站曲线不规则

10. 差分 SR 周期抑制 Mean_Shift STL分解鲁棒回归周期抑制 80%+准召率差分周期抑制全球敏捷运维峰会广州站 STL分解 LR回归 MK检验周期抑制

11. 图文报警全球敏捷运维峰会广州站

12.  系统有潜在异常，但被淹没在海量日志中，单项目报警量最多可达每日1w+，如何合并告警？  故障出现后，日志报警量级太大，如何定位？  新版本上线，系统行为有变化，却无法感知？怎么办？全球敏捷运维峰会广州站

13. 利用模型根据日志文本的相似性进行归类，自动提取对应的日志模版。怎么实现？日志1：Receiving block blk_3587 src: /10.251.42.84:57069 dest: /10.251.42.84:50010 日志2：Receiving block blk_7174 src: /10.251.42.90:57069 dest: /10.251.42.90:50010 模版： Receiving block <*> src: <*> dest: <*> 全球敏捷运维峰会广州站

14. • • Pinjia He, Jieming Zhu, Zibin Zheng, and Michael R. Lyu. Drain: An Online Log Parsing Approach with Fixed Depth Tree, Proceedings of the 24th International Conference on Web Services (ICWS), 2017. Du M , Li F . Spell: Online Streaming Parsing of Large Unstructured System Logs[J]. IEEE Transactions on Knowledge and Data Engineering, 2018, PP:1-1. 一次分类 drain 二次分类 spell 全球敏捷运维峰会广州站

15. 实现百万日志数到百日志数的归并全球敏捷运维峰会广州站

16. 对比不同时间段分类日志数量，利用机器学习模型自动识别突变或者和历史趋势不一致的日志类型  将不同模版数量使用卡方分布进行聚合 � 2 � = � � =1 (� � � − � � � ) 2 � � �  对聚合后的数据进行异常检测 � 2 = � � =1 � 2 � ～ � （�，� 2 ）  对日志模版异常检测，根据异常程度，返回TopN的异常模版全球敏捷运维峰会广州站

17. 游戏玩法设计遗留代码bug 全球敏捷运维峰会广州站

18. 排查链路长排查指标多  在监控报警发出后，结合指标、日志、网络、变更事事件等信息。  通过关联异常进行下钻分析，并定位到最有可能造成故障的topN 拓扑关系复杂报警配置难原因。报警多且分散  以topo的形式可视化展示异常的节点及指标。  标注根因，沉淀故障事件指纹库。全球敏捷运维峰会广州站

19. 全球敏捷运维峰会广州站

20. 资源机器网络/渠道对最近20min内所有metric进行异常检测，计算异常检测分数：  按区域、运营商等维度采用 Adtributor算法进行下钻分析  时间衰减，越早发生的异常越有可能是根因  按surprise值，进行排序，得到topN异常维度  指标异常严重程度排序  机器异常指标数量全球敏捷运维峰会广州站 saas/端口  获取巡检报警信息，进行汇总展示

21. 代码bug  日志智能分类和异常检测结果，给出异常模版人为操作历史故障  关联变更事件，相关变更报警  获取基于历史故障相关报警信息数据  汇总展示  计算当前故障与历史故障的Tanimoto系数  推荐Tanimoto值最大且超过阈值的topN故障以及其根因全球敏捷运维峰会广州站

22. 公网故障全球敏捷运维峰会广州站

23. 服务部署故障发生故障发现故障止损添加监控配置告警告警收敛告警分级指标异常检测日志异常检测离群检测指标预测故障预测故障定位下钻分析关联分析日志分析性能分析故障定位全球敏捷运维峰会广州站故障处理/ 恢复故障记录故障自愈故障分级预案故障事件落库

24. 智能变更代码检测智能工单效率故障知识图谱故障预测故障自愈数据管理质量容量规划性能优化资源优化特征管理模型管理交互体验成本平台全球敏捷运维峰会广州站

25. THANK YOU！全球敏捷运维峰会广州站