AIOpsDev新基建，智领价值运维转型

1.

2. AIOpsDev新基建，智领价值运维转型浙江移动陈青青

3. 运维转型顶层设计 AIOps技术驱动运维 OpsDev价值拉动运维组织敏捷化

4. 运维转型顶层设计

5. 浙江移动IT架构演进开始研究云计算技术 2009 研究并推广数据库一体机研究并推广 DCOS技术 2013 研究并推广微服务架构研究并试点AI 2014 1 st 电信行业最早 250+ 套应用系统 30000+ 4.5亿+ 50000+ 容器次/日调用量日均任务调度 2016 完成核心系统全面容器化完成核心数据库去IE 完成核心系统全面微服务化 2017 完成DCOS平台双平面建设首批通过 DevOps标准评估 2018 完成100%去I 完成去O初探 ARM规模化商用 2019 完成核心交易库去O 完成运维大中台建设 2020

6. 运维困局的本质运维挑战 1、维护边界快速增长 2、开发迭代更加频繁 2011 云原生1.0 单体式架构负载均衡服务、模块化、虚拟化隔离 3、数据规模体量暴增 2016 持续熵增，不确定性持续增加 2019 云原生2.0 微服务架构微服务框架、持续交付流水线、调用链分析、分布式配置、自动化测试、监控系统云原生3.0 云原生4.0 分布式数据库、分布式存储、分布式缓存、分布式消息队列、灰度发布平台、全局容错方案、全局一致性方案、混沌测试、容器、资源调度平台人工智能服务进行决策；强大的公共基础服务；智能化运维；高度自动化能力；可实现Serverless架构可编程基础设施全智能架构应对不确定性，是人类永恒的挑战 4、故障定界更加复杂 5、传统手段不再适配 6、组织架构难以适应大侠- 专业化方阵- 标准化火枪手脚本化、工具化、平台化集团军中台化、生态化部分智能化无人作战方队数字化、全智能化运维的困局本质上是云原生架构与运维代际的适配矛盾，运维要借助新技术（AIOps）和新理念(SRE)实现演进

7. AIOpsDev运维转型战略 AIOps OpsDev 基于全面运营数字化，不断拓展复杂场景的智能化运维能力，通过AI注智， AI Ops Dev 加速运维数字化转型。沉淀运维中台能力，打造运维开发平台，人研发工具，工具代替人运维系统，持续推进运维新基建。运营数字化  运营数字化：运营运维全生命周期的感知泛在化、认知智能化、操作无人化四化转型  能力中台化：沉淀运维能力、产品融合、数据融通、学件融智，构建运维生态  运维研发化：自主建设工具平台，技术创新持续落地，让程序代替人维护  组织敏捷化：适配运维演进（GOC、SRE、BOE、OPE） AIOps技术驱动 OpsDev价值拉动组织转型是破局点打破范式依赖，AIOps和OpsDev需两翼齐飞，心智模式转变重中之重，决定数字化转型成败，组织转型需要适配

8. 数字化转型需要持续迭代业务成熟度/ 价值技术能力下沉平台1.0 平台能力增强平台2.0 业务和技术双向驱动下，实现价值的迭代升级，平台能力持续做厚时间

9. AIOps技术驱动运维

10. 运营数字化全局治理体系技术手段架构设计控制点入网控制 …… …… 敏捷验收平台、线上压测平台智维运维平台持续发布、灰度发布神舟运维平台发布上线新技术预研规范应用非功能验收标准高可用体系标准应用上云标准 …… 资源分配管理原则生产环境测试：功能回归、全链路压测 …… 运行治理（故障抵御体系）架构治理体系：宠物肉牛化…… 高可用演练规范云原生1.0时代流程规范 …… SRE控制点 …… 故障抵御 MTBF MTTI MTTK MTTF M T TR 故障预防故障发现感知泛在化态势通告 MTT V 故障分析故障处理认知智能化操作无人化 MTBF 故障复盘故障改进 AIOPS需要循序渐近，重点突破，尤其是全局数字化故障治理体系，具有较高性价比

11. 感知-认知-处置闭环流程数据处理性能指标、系统日志、调用链数据平滑数据插值数据去重故障发现-无监督混合模型模型1 可观测数据数据特征工程算法分拣器异常检测结果故障自愈-四级自愈模型业务级业务流量切换服务级数据库容灾切换网元级主机隔离进程级 SQL查杀模型2 模型3 设备健康度故障发现-晴雨表故障根因打分模型健康度 KPI性能指标故障定界-多模态融合定界模型决策引擎 • • • • 灾备情况风险等级历史自愈情况黑名单限制时间模态分析推荐的应急预案异常检测结果空间模态分析经验模态分析模态融合

12. 感知泛在化：设备晴雨表异常检测（自上而下）从黄金指标体察用户感知数据汇集带外、带内监控，采集业务指标、平台指标、告警、日志等海量数据，统一规划，集中处理。白银指标 IO wait cpu使用率网络延迟主机hang DB可用性容器状态表空间 ping指标黄金指标负载转发时延消息队列速率告警日志晴雨表 LSTM ARIMA EWMA 异常聚合上下合拢专家经验线性回归拨测时延逻辑回归数据平滑知识图谱资源名称当前健康状态分扣分项资源信息多指标健康度模型（自下而上）从平台组件指标抽象实体健康度关联关系健康打分模型

13. 感知泛在化：业务感知体系  技术原理  基于Web流量中HTTP数据的实时解析、聚合，建模，分析、实现页面卡顿的宏观感知能力，能够及时发现后台系统故障的实时感知。 10086实时咨询热点分布监控全渠道服务总线质量统一监控  技术原理基于核心业务黄金指标的异常检测，实现业务前端接入段故障点的感知（如地市接入网络故障），弥补了卡顿监测的盲区。后端核心业务积压的统一监控端到端的微服务调用链追踪需建立全渠道、全触点、全用户的实时、精准的感知能力，一线不但要跑赢内外部客户故障感知，而且要跑的更快

14. 感知泛在化：数字员工态势通告故障通报自愈消息通知变更单录入日报发布租户自助查询

15. 认知智能化：智能决策 1 时间上谁有可疑发现一堆异常 KP I1 KP I2 KP I3 KP I4 KP I5 KP I6 KP I7 KP I8 停复机开户充值订购 K PI 2 INT1 K PI 3 INT2 K PI 4 INT3 INT4 APPI 1 应用平面 K PI 1 K PI 5 K PI 3 K PI 4 Dock er1 云平台平面 Kafka Dock er2 K PI 6 PM2 K PI 9 INT7 K PI 7 业务异常检测 MQ K PI 9 Apac he Dock er5 推导谁最可疑故障时间线 09:35 是否真的可疑大云图-辅助定位根因智荐-自动定位 (赋能二线) (赋能一线) 5 异常核查根因 K PI 1 0 黄金指标检测 3 • • 物理部署关系调用连接关系专家经验 • • 09:23 检测模型根因推导空间关联模型健康度评分告警检测 4 空间切割 Dock er6 PM6 5 异常核查模型根因推导模型调用链检测 SDS3 PM5 2 4 INT8 K PI 8 SDS2 PM4 空间上谁更可疑 APPI 4 Dock er4 SDS1 PM3 K PI 1 0 Hapr oxy Hado op Dock er3 VM3 VM2 PM1 INT6 LB Redis VM1 K PI 8 APPI 3 K PI 5 FW K PI 7 INT5 APPI 2 K PI 2 DB K PI 6 1 空间关联模型服务状态检测业务平面 K PI 1 3 2 时间关联模型检测模型时间关联模型异常影响关系异常作用边界历史影响关系 • • 历史相似异常相似异常关系根因推导模型知识图谱

16. 认知智能化-可视分析接口指标视图应用/业务视图根因智荐日志大盘调用链分析

17. 操作无人化：数字打杂基于白屏操作平台以及应急预案实现对告警处理和作业执行的白屏化能力提升，无需二线运维人员介入

18. 操作无人化：自愈 01.业务级（半自动、辅助决策）操作无人化构建架构设计 • • • 预案设计手段：业务级切换场景：遇到数据中心级故障，原生产已无法恢复，故切换到备份系统，实现核心业务连续性原理：基于业务双平面实现操作无人化感知泛在化认知智能化 02.服务级（应急、半自动、辅助决策） • • • 手段：容灾切换场景：服务级故障切换原理：基于服务级灾备体系实现 03.网元级（常规、自动决策） • • • 手段：重启场景：实例级故障隔离原理：基于实例所属服务自身或应用多写等高可用能力实现 04.进程级（常规、自动决策） • • • 手段：查杀场景：OS级别异常进程查杀，快速消灭异常原理：基于应用进程自动重连、自动启动手段实现

19. OpsDev价值拉动运维

20. 运维研发化

21. AIOPS三驾马车

22. 运维支撑体系全景图

23. 场景融合，运维开发敏捷化 23

24. 敏捷开发能力图谱  纯代码  低代码   零代码零代码流程加速组件拖拽式编程资源申请代码部署构建发布代码托管应用运维运营报表前端可视化布局后端业务编排场景化的通用SAAS 大屏设计器报表设计器组件自定义开发模板纯代码融合 URL嵌入 API服务网关代码工程整合流程设计器打分设计器 …..

25. 数据融通，运维世界数字化一个平台一个团队一套规范 LOG METRIC METRIC TRACE TRACE EVENT

26. 全流程的数据资产管理能力

27. 学件融智，人工智能平民化 27

28. 组织敏捷化

29. 组织转型是重中之重

30. 数字保障团队-GOC

31. 数字保障团队-SRE

32.