工商银行开放平台自动化运维的演进之路

1. Fintech技术沙龙金融级数据库与运维实践-上海站工商银行开放平台自动化运维演进之路洪伟 1

2. 1.工行自动化运维发展历程目录 CONTENTS 2.自动化运维流程建设 3.智能运维场景挖掘 2019-9-24

3. 1 工行自动化运维发展历程 2019-9-24

4. 工行自动化运维发展历程 Ø银行业态转型 BANK BANK BANK 1.0时代传统网点服务客户历史的、传统的银行模式，以银行物理网点为基础的银行业务形态。 2019-9-24 ATM ATM $ BANK 2.0时代 3.0时代 4.0时代自助化服务客户移动化服务客户无所不在智能服务新生态借助电子技术延伸了物理网点的随着智能手机等移动技术的出现随着人工智能、5G、物联网等新技触点，用户通过ATM、网上银行而飞速发展，被重新界定为随时术的发展，已经开始构建全新的开等进行自助服务。随地满足需要的银行。放合作的渠道服务新生态。

5. 工行自动化运维发展历程 1.1 建设背景 Ø金融科技赋能全行转型发展智慧银行信息化银行电子化银行信息化 ECOS 客户服务“智慧”普惠基础设施持续提升金融生态“开放”互联大机延伸数据集中数据中心整合两地三中心业务运营“共享”联动客户视图统一核算相对独立产品灵活配置境外应用一体管理信息集中全面风险管理 2019-9-24 创新研发“高效”灵活业务科技“融合”共建 5

6. 工行自动化运维发展历程 Ø银行业务多元化传统银行业务互联网时代的银行业务 ATM POS ETC 电子银行聚合支付网银快捷支付电话银行 2019-9-24 生态云

7. 工行自动化运维发展历程 Ø数据库转型业务支撑运维能力单库已无法支撑业务规模传统的基础环境供应以的增长及运维模式无法应对开发的敏捷迭代控制成本通过下移主机业务至平台，使用更廉价的硬件基础设施；自主可控,解决对商业产品的过度依赖 2019-9-24 数据库转型降低风险打散数据、解耦各应用业务层依赖、降低整体集中式风险

8. 工行自动化运维发展历程 Ø数据库转型 2019-9-24

9. 工行自动化运维发展历程 Ø互联网时代的高并发挑战 2019-9-24

10. 工行自动化运维发展历程 Ø运维方式升级运维场景从简单到复杂运维手段从落后到先进运维数量从成百上千到数以万计人肉运维脚本运维 1.0时代手工运维靠运气维持，对运维人员的专业度依赖大 2.0时代脚本运维依托于一套成熟、复杂的生产运维脚本，基于hpsa 等产品管控 2019-9-24 服务化 3.0时代微服务自主研发智能运维平台，运维场景被抽象成为一系列原子服务智能运维 4.0时代智能运维 AIOPS、机器学习、动态规划......

11. 2 自动化运维流程建设 2019-9-24

12. 自动化运维流程建设 Ø目的：运维流程闭环报警应急处置答复申请巡检环境搭建退库搭建反馈变更变更复核 2019-9-24 巡检智能运维平台实施整改

13. 自动化运维流程建设 Ø平台选型的难点 1.操作系统种类繁多 2.服务器数量巨大 3.自主可控 4.行内系统兼容 2019-9-24

14. 自动化运维流程建设 Ø自研智能运维平台架构 2019-9-24

15. 自动化运维流程建设 Ø平台成效 • 上万台服务器操作，10分钟 • 全行数万台服务器监控指标采集 • 多操作系统支持 2019-9-24

16. 自动化运维流程建设 Ø平台风险及防范措施风险全局性误操作脚本健壮度运维技能退化防范措施人员权限控制对象访问控制高危命令拦截强制分批执行脚本自动化测试操作服务化 2019-9-24

17. 3 智能运维场景挖掘 2019-9-24

18. 智能运维场景挖掘 Ø围绕智能运维平台的自动化开发 • • • • • • • • 同城切换环境搭建集中监控标准变更业务级故障自愈动态阈值服务健康度评估变更风险智能识别 2019-9-24 同城切换集中监控标准变更故障自愈智能运维环境搭建

19. 自动化运维流程建设 Ø运维操作服务化-日常操作 2019-9-24

20. 自动化运维流程建设 Ø运维操作服务化-变更 2019-9-24

21. 自动化运维流程建设 Ø运维操作服务化-应急 2019-9-24

22. 智能运维场景挖掘 Ø故障自愈 2019-9-24

23. 智能运维场景挖掘 Ø巡检平台建设巡检任务模型巡检平台录入任务 F-DCAP 制定巡检指标开发巡检脚本创建巡检任务表脚本下发部署设定巡检时间表定制巡检报表巡检任务启动巡检任务引擎发送邮件通知 2019-9-24 Ø抽象制定了标准的巡检任务模型，其他各项巡检任务均基 WOP接口于巡检任务模型进行详细定制 Ø实现了与SD、CMDB、DCAP等应用的交互 Ø实现了以应用、服务器、系统对象等维度的巡检

24. 智能运维场景挖掘 Ø巡检平台建设 2019-9-24

25. 智能运维场景挖掘 Ø巡检平台建设-变更巡检 2019-9-24

26. 智能运维场景挖掘 Ø性能指标的动态阈值评估 Ø Ø 区别于静态阈值的一刀切监控方案，动态阈值评估系统，能够更灵敏的捕捉系统性能的波动以t日为例,t-7 表示7日前同一时刻以此类推 X(t)标示t时刻实际值 Y(t)表示预测值 delta() 表示求数据的标准差预测值 Y(t)上限 = X(t-7)+3 delta((X(t-7)+X(t-14)+X(t-21)+X(t-28)+X(t-35))) 2019-9-24

27. Ø应用维度系统健康度评价综合考虑CPU、内存、巡检结果、事件告警等因素，应用健康度评价模型，计算得分性能容量管理小帮手 2019-9-24

28. THANK YOU！ 28