支撑万亿交易量的苏宁金融紫金大盘

1. 支撑万亿交易量的苏宁金融紫金大盘 AIOps 平台架构设计及实践 2019 中国 DevOps 社区年会孙捷 @ 苏宁金服集团 2019 年 10 月 26 日

2. 自我介绍 • 现担任苏宁易购集团金融研发中心技术总监 • 曾先后任职于IBM和苏宁金服，对 DevOps和AIOps技术平台有深入的了解，擅长相关领域的产品设计和架构设计。 • 设计过多款行业领先的DevOps和 AIOps产品，并荣获数项相关专利；此外在开发管理、人才培养、团队建设等方面也颇有研究。

3. 大纲 CONTENTS 01 02 03 04 发展历程架构设计落地案例心得分享

4. 大纲 CONTENTS 01 02 03 04 发展历程架构设计落地案例心得分享

5. 01 、发展历程苏宁金融的业务快速增长 2011年 2013年 2015年 2016年开办第三方支付业务 易付宝APP上线 开办消费金融业务 苏宁金融服务（上海）有限公司成立 开办商业保理业务 开办企业征信业务 开办基金销售业务 开办基金销售支付结算业务 成立苏宁金融研究院 开办融资租赁业务发展历程 2019年 2018年 2017年 苏宁融资担保(天津)有限公司成立 苏宁金融科技(南京)有限公司成立 苏宁银行开业 C轮融资，投后估值达到560亿元 江苏苏宁商业保理有限公司成立 任性贷上线 获批设立以金融科技为特色的”江苏省博士后 B轮融资，估值323亿元创新实践基地“ 苏宁支付公司获颁“国家高新技术企业”认证

6. 01 、发展历程对IT的技术运营能力不断提出新的挑战庞大复杂的系统高昂的运维成本低效的运维能力 ※ 1000+系统 ※ OPEX = (3~4) * CAPEX ※ 70%的严重问题都是人因 ※ 5W+服务器 ※ 30%研发人力投入运维 ※ 问题感知和定位1~2小时

7. 01 、发展历程技术运营能力演进路线 2017 第二代紫金大盘 1TB/秒多活架构一键定位 2015 第一代紫金大盘 100GB/秒统一日志+采集实时计算+告警 2011 苏宁金融起步 1GB/秒 SNMON 堡垒机+Zabbix 2019 第三代紫金大盘 10TB/秒 AIOps平台化业务保障平台成本管控平台人效提升平台

8. 大纲 CONTENTS 01 02 03 04 发展历程架构设计落地案例心得体会

9. 02 、架构设计 -AIOps 体系框架 •硬件利用率优化容量管理知识管理 •容量管控 •知识库 •容量预测 •弹性扩缩容 •性能优化建议变更管理 •硬件成本管理成本管理成本管理域人效提升域 •并行研发 •智能决策 •人力成本管理 •采购建议 •ROI优化建议业务保障域监控能力故障检测故障诊断故障恢复应急事件应急响应根源分析总结改进故障预测

10. 02 、架构设计 - 整体架构服务工作台人效提升域并行研发知识库智能决策容量预测业务保障域问题检测问题诊断问题恢复问题预测成本管理域图例 ROI优化资源优化容量管控性能优化心眼脑自动化运维平台 “银河”算法平台 “幻识”知识图谱持续交付流水线异常区间比对故障传播关系挖掘弹性扩缩容决策交易链路异常诊断交易链路画像应用健康画像监控工具相似曲线识别事件与事件挖掘资源利用率模型单KPI异常检测故障先兆画像应急预案 KPI趋势预测 KPI与事件挖掘性能瓶颈分析多KPI异常检测实体画像拓扑结构 KPI聚类多KPI联动挖掘容量预测模型单KPI异常诊断运维实体实体关系运维工具 …… 服务管理配置管理 …… 数据云平台物理资源虚拟资源 …… 业务应用 …… 存储中间件手

11. 02 、架构设计 - 技术架构服务工作台自动化运维平台持续交付银河算法平台 CMDB 运维工单 ...... 配置部署数据云平台指标服务度量评估模型计算服务模型计算服务集群瓶颈分析数据集成集成任务 WindQ 运维工具 … 异常检测容量预测异常诊断幻识知识图谱 API网关故障预测数据开发IDE 图谱管理服务图库管理图谱开发 JanusGraph 监控告警配置管理 …… Flume Zabbix Prometheus JVM Agent 调用链模型管理服务算法路由聚类监控工具成本管理域业务保障域 KPI Jekins Git SonarQube 魔客平台建站平台蛙测平台金丝雀发布人效提升域 …… 数据存储

12. 0 2 、架构设计 - 实时计算的高可用设计

13. 大纲 CONTENTS 01 02 03 04 发展历程架构设计落地案例心得体会

14. 目录 CONTENTS 1）业务保障域 - 智能问题诊断案例 2）成本管控域 - 硬件成本管控案例 3）人效提升域 - “悟空”一键建站案例

15. 03 、落地案例 - 智能问题诊断案例场景介绍互联网业务的KPI（ PV、UV、交易量、成功率、耗时等）的波动跟公司的收入、利润、股价息息相关，当KPI发生异常波动时，如果能够快速判断出导致问题发生的根因，运维人员就可以迅速采取行动止损甚至解决，从而为用户、公司和股东挽回巨大的损失。

16. 03 、落地案例 - 智能问题诊断案例场景举例当某个总指标（如总流量）发生异常时，通过智能问题诊断可以快速准确地定位到是哪个（交叉）维度的原因导致的（“机房=机房A & 类型=转账交易”的流量），以便尽快做进一步的修复止损操作。

17. 03 、落地案例 - 智能问题诊断案例三大挑战根因组合太多分析过程复杂实时性要求高

18. 03 、落地案例 - 智能问题诊断案例基本原理 Ripple Effect (涟漪效应): ? ? ′ ? ′ ? ? ? = ? ? ′ ? − ? ? × , ? ? ≠? ? ? REF:Yongqian Sun, Youjian Zhao, Ya su, et al., “HotSpot:Anomaly Localization for Additive KPIs withMulti-Dimensional Attributes”, IEEE Access, 2018.

19. 03 、落地案例 - 智能问题诊断案例智能问题诊断流程数据云平台 “银河” 算法平台 ES 数据存储日志 DB Spark 数据聚合 Hive 数据集市 SFRD-FRCA 算法模型 β地动仪可视化展示

20. 03 、落地案例 - 智能问题诊断案例 SFRD-FRCA算法模型

21. 03 、落地案例 - 智能问题诊断案例预测值计算

22. 03 、落地案例 - 智能问题诊断案例可能性评估

23. 03 、落地案例 - 智能问题诊断案例搜索算法

24. 03 、落地案例 - 智能问题诊断案例偏移修正基于奥卡姆剃刀原则的根因选优: compare_ score = score*(len(root_cause)*rc_factor)*(layer*layer_factor) 1.依据奥卡姆剃刀(Occam’s razor)原则：多个根因都符合规则时，选择更简约的根因。 2.增加针对搜索层数的惩罚机制，层数越深惩罚越重。 3.增加针对根因元素数的惩罚机制，元素越多惩罚越重。

25. 03 、落地案例 - 智能问题诊断案例产品效果准确率90%以上，平均响应时间30秒以内

26. 目录 CONTENTS 1）业务保障域 - 智能问题诊断案例 2）成本管控域 - 硬件成本管控案例 3）人效提升域 - “悟空”一键建站案例

27. 03 、落地案例 - 硬件成本管控案例场景介绍硬件成本和利用率 300000 20.00% 18.00% 250000 16.00% 14.00% 200000 12.00% 150000 10.00% 8.00% 100000 6.00% 4.00% 50000 2.00% 0 0.00% 2011 2012 2013 2014 2015 成本 2016 利用率 2017 2018 2019

28. 03 、落地案例 - 硬件成本管控案例应用架构管硬控件平成台本实时成本大盘成本明细资源使用率大盘资源使用率明细单机缩容建议容量预测容量规划成本优化效果分析成本预测单机性能优化建议链路缩容建议一键扩缩容资源变更管理硬件采购建议自动化运维平台 “银河”算法平台 “幻识”知识图谱持续交付流水线计费模型成本模型成本预测模型单机性能分析模型交易链路画像集群画像监控工具链路瓶颈分析模型缩容过程模型单机容量模型集群容量模型实体画像拓扑结构容量预测模型容量规划模型硬件采购模型运维实体实体关系建站平台链路容量模型 …… …… 配置管理 …… 数据云平台调用链数据物理机数据虚拟机/ 容器数据 …… 霄练压测中间件数据监控指标

29. 03 、落地案例 - 硬件成本管控案例产品效果展示

30. 03 、落地案例 - 硬件成本管控案例成本管控效果 2021年 2020年 2019年为金服集团服务节约硬件成本15% 为全集团服务节约硬件成本亿级结合人力资源成本数据和业务KPI数据提供ROI 决策分析能力辅助集团战略决策

31. 目录 CONTENTS 1）业务保障域 - 智能问题诊断案例 2）成本管控域 - 硬件成本管控案例 3）人效提升域 - “悟空”一键建站案例

32. 03 、落地案例 - 一键建站案例痛点问题同一测试环境搭建测试环境并行版本干扰耗时长成本高不同版本需求固定多套测试争抢测试环境环境浪费资源测试环境冲突

33. 03 、落地案例 - 一键建站案例 SIT环境特性环境 Group1-版本a A 基准环境 Group0 A B B 特性环境 Group2-版本b C D 建站平台 E E E F DNS DNS SCM DNS 灰狐路由网关 RSF Kakfa WindQ SCM UTS 调用链监控平台 ITSM DB- A DB- A SCM 蛙测平台服务治理平台 DB- A ……

34. 03 、落地案例 - 一键建站案例产品价值并行研发能力提升业务竞争力节约人力成本千万级节约硬件资源亿级提升测试效率提升交付速度创造更多价值快速交付环境节约研发资源按需搭建资源复用多种测试工具提升测试人效

35. 大纲 CONTENTS 01 02 03 04 发展历程架构设计落地案例心得体会

36. 04 、心得体会如何从0~1打造一只AIOps团队？主动规划和寻找资源公司战略团队能胜利才力可复是最好制的团建

37. 04 、心得体会未来愿景

38. 谢谢观看 THANK YOU