平安银行智能化运维之故障自愈

1. 平安银行智能化运维—故障自愈分享人：曾庆淡时间：2022年6月17日

2. 目录 1 运维开发的初心使命 2 智能运维—场景、路径、选择 3 数据库故障自愈 4 未来展望

3. 01 初心使命

4. 运维开发的初心单击此处添加标题保障 [解决内部需求] 提升变更和交付质量缩短故障处理时间保障系统高效稳定创新 [运维的理想] 服务 [做好外部服务] 服务开发、服务DBA 科技思维解决痛点迭代让用户从吐槽到肯定不背锅不值班不运维

5. 运维开发的初心单击此处添加标题持续交付标准化、端到端持续发布 SQL审核、安全屏蔽、测试支持持续运维自动化变更、一键切换多元监控开源(Prometheus)、自研应急管理零依赖应急操作、数据恢复智能运维动态阀值、故障自愈、无人值守

6. 运维开发的初心单击此处添加标题我们有日常操作的线上化平台，但一个熟练的DBA登录系统、找到环境、获取信息、研判处理，需要好几分钟。夜间、周末、节假日，处理的时间会加长，值班人员的技能也参差不齐。如果告警能够快速发现处理，很多问题就能在一开始被解决，避免后面的影响，也减少了很多复盘。

7. 02 智能运维

8. 什么是智能运维单击此处添加标题 AIOps, Artificial Intelligence for IT Operations 通过机器学习等人工智能算法，自动地从运维数据中学习及总结规则，并作出决策的运维方式。以大数据和机器学习为基础，增强传统运维的能力。

9. 智能运维场景方向单击此处添加标题好快质量方向异常预测、异常检测、故障定位故障止损、根因分析、故障自愈效率方向交易预测、批量预测、容量预测配置发现、ChatOps 稳省成本方向容量优化、性能优化、告警收敛安全方向入侵检测、脆弱感知、行为分析安全编排与自动化响应（SOAR）

10. 智能运维实现路径单击此处添加标题业务监控数据：交易数、成功率、响应时间。。。基础监控数据：应用、数据库、中间件、操作系统、存储、网 CMDB：应用拓扑关系、环境初级编排：选择算法、确定数依赖关系据、编排算法知识库：经验知识终极编排：根据输入数据特征、络、服务器。。。基础日志：应用、数据库、中间件、操作系统、存储、网络、服务器。。告警信息：告警内容、标签 ITSM：变更单自动选择算法、自动编排自动化工具：ansible、puppet 云、容器

11. 人工智能---监督学习单击此处添加标题贝叶斯模型神经网络支持向量机决策树

12. 决策树单击此处添加标题

13. 03 数据库故障自愈

14. 故障自愈系统示意图告警系统消息队列分析模块输入模块决策模块训练模块生产环境统一操作平台统一接口决策树集合

15. 故障自愈系统示例：FRA区告警处理单击此处添加标题 1、DBA根据经验列写故障的场景及处理方法 3、来了一个告警，FRA>90%, 补充相应检测值，作为测试集给到决策树 2、智能学习，得到处理FRA告警的决策树模型

16. 故障自愈系统示例：自助配置单击此处添加标题

17. 故障自愈系统示例：表空间自动扩容、执行计划自动固化单击此处添加标题

18. 结果展示单击此处添加标题每月有多例告警通过自愈的方式自动处理了。 FRA区的处理效率缩短至6秒以内，相较人工处理效率提升100倍以上。 SQL执行计划的处理也是在10秒内完成，非常有效避免问题恶化。

19. 04 总结展望

20. 总结单击此处添加标题决策树直观明了，并创新性实现了与运维DBA 的互动自助调试。 01 02 明确策略场景，该方式安全可靠，有效规避自动学习“概率性”问题 03 智能学习，自定义接口，灵活自定义，代码复用度高。

21. 展望—无人值守单击此处添加标题

22. 谢谢