蚂蚁混合云架构及技术风险防控实践

1. 蚂蚁混合云架构及技术风险防控实践肖鹏（乙未）蚂蚁集团资深技术专家

2.

3. 个人介绍互联网技术风险领域 10 年从业经验  2011 年加入百度运维部  2014 年加入阿里巴巴高德，作为运维团队负责人全面建设技术风险保障体系，支撑高德业务逐步发展为日活过亿的App  2019 年加入蚂蚁集团技术风险部，负责智能容量技术团队和支付宝小程序云北区解决方案团队，为小程序客户提供云托管技术和营销解决方案

4. 目录  蚂蚁混合云架构实践  蚂蚁混合云技术风险能力建设  蚂蚁混合云应用案例

5. 蚂蚁混合云架构实践

6. 蚂蚁混合云架构实践-背景网关层网关 uid50-99 uid00-49 应用层 ServiceA ServiceB ServiceA ServiceB 应用层单元1 LDC架构单元2 存储层 m s uid00-49 m s uid00-49 m s uid50-99 m s uid50-99 存储层（Logical Data Center）

7. 蚂蚁混合云架构实践-背景 proxy 蚂蚁主站业务主体A 业务主体B proxy 网商银行 ... 业务主体N 阿里云底座从一朵云演变为多朵云

8. 蚂蚁混合云架构实践-问题业务主体无隔离风险能力强依赖主站相同环境变更布防核对预警经验规则沉淀应急组织/定位处置管控应用1 数据模型变更动作预案A 防御规则核对规则处理能力应急域执行记录风险事件变更域数据源/指标/告警数据源/指标/告警资金域缓存应用元数据运维管控单笔数据业务定位决策树自愈预案核对规则1 核对规则2 混合云架构下存在跨云监控、应急等新问题各项能力应用3 …… 监控域主站基础设施 DB 防御规则处理能力应用2 预案B 变更服务链路数据风险数据基础平台依赖技术风险能力沉淀变更分批监控业务影响分析 … 平台对外部依赖重，无法独立输出共用风险防控平台业务主体A 业务主体B …… 业务主体N 中间件等变更核心应急平台 … 基础依赖域内域外异构

9. 蚂蚁混合云架构实践-TLDC架构业务租户A 业务Saas区 RZ RZ RZ 业务租户B SOFAGW GZ RZ CZ RZ RZ 业务租户C SOFAGW GZ CZ 隔离与互通技术能力，满足独立性要求 RZ RZ GZ CZ TLDC架构（ Trusted-native Logic Data Center ) 独立与互通技术能力可信原生全局管控区构建混合云管控平台，提供标准云产品和交付能力 RZ 云管理平台云产品服务资源运营管理可信原生管控区运维管控云管理平台 TCMDB元数据计算资源共享、数据独立存储独立机房，专有云交付依据业务主体数据独立性等级要求做部署架构选型

10. 蚂蚁混合云架构实践-TLDC架构 • 数据、权限隔离 • 核心代码多云部署 • 数据/服务的有限互通 • 卫星组件拆分 • 异构云底座 • 协同防御技术风险技术风险技术风险技术风险技术风险

11. 蚂蚁混合云架构实践-租户隔离纯独立部署纯全局卫星每个租户一套部署所有租户共享一套管控/数据全局部署所有租户共享一套管理侧的全局部署不同租户内卫星部署执行引擎类模块业务租户技术风险系统租户内APP 区域中间件租户内APP 区域中间件业务租户业务租户业务租户通用代理组件通用代理组件租户内APP 区域中间件技术风险功能组件业务租户租户内APP 区域中间件技术风险功能组件业务租户技术风险系统租户内APP 区域中间件全局管控租户技术风险系统（多租户化）目标：建设单云多租户管理能力全局管控租户技术风险系统（多租户化）租户内APP 区域中间件

12. 蚂蚁混合云架构实践-多云输出方式1：产品+依赖底座整体输出 IAM CMDB 技术风险产品系统 Cache Paas … 技术风险产品系统 IAM 产品最小集方式2：产品去底座依赖 CMDB Cache Paas … IAM CMDB 技术风险产品系统 Cache 轻量化 Paas … 技术风险产品系统 IAM’ CMDB’ Cache’ Paas’ … 客户自有产品集主站客户站点（专有云）主站目标：一套产品系统代码，多异构站点输出部署客户站点（专有云）

13. 蚂蚁混合云架构实践-多云协同应急域变更域跨云数据通路数据出口管控管控接入（审批提单/结果回调/…）跨云数据通道管控能力（审批/熔断/审计/…）接入层（发送/订阅/…）出口元数据管理（数据类型定义/脱敏规则/…）通信信道（https/ftps/…）结构化（类型/结构/脱敏/…）目标：多云独立部署，单元防控体验

14. 蚂蚁混合云技术风险能力建设

15. 蚂蚁混合云技术风险防控-背景业务运维防控业务风险防控质量保证数据库运维管控资金安全变更管控基础设施运维管控基础架构运行管控性能容量定位应急领域服务红蓝攻防根基守护基础技术服务风险智能监控风险模型数据仿真灰度环境技术风险架构域

16. 蚂蚁混合云技术风险防控-背景监控云A 应急云B监控云A告警监控大盘跨云查询风险事件跨云传递指标数据监控/落地指标查询投递链路定位根因分析变更压测跨云变更时间查询跨云压测熔断 …… 检测结果通过跨云数据通路跨云传输通道接口同步查询管控异步投递关联监控云B 云A监控云B告警字段级权限控制根因投递应急监控大盘跨云查询云A事件云B拉起应急根因跨云分析事件投递信道专线公网压测风险事件变更压测云A风险阻断云B 容量风险识别 …… 解决跨云防控问题

17. 蚂蚁混合云技术风险防控-跨云监控跨云业务核心业务保障跨云应急跨云监控跨云发现技术栈覆盖跨云告警跨云变更网络监控容量跨云防控跨云网络 Maas防控骨干网专线跨云应急 SLO覆盖跨云监控应用场景跨云定位智能化基座跨云防控明细数据监控智能告警智能托管智能异常检测 DNS网络智能布控 …… Maas插件多段渐进检测特征&样本中心统一数据服务跨云数据平台多云时序服务采集注册统一模型服务多云权限管控监控元信息计算服务对接监控数据平台多云数据模块跨云链路调度中心跨云数据服务跨云数据链路（通讯、脱敏、管控）采集清洗执行引擎 agent agent 时序存储 ceresDB SQL引擎跨云数据融合多云时序管理维表云站点监控云站点监控云站点监控云站点监控RawData 多云数据引擎解决数据异构

18. 蚂蚁混合云技术风险防控-跨云应急节点典型场景云A 云B 节点节点节点节点风险预警（风险事件）节点应急处理（预案/自愈）节点云B叶子节点出现问题，传导到云A入口应用，云A监控发现节点故障根因（定位）云A 云B 节点节点节点节点风险预警（风险事件）节点节点应急处理（预案/自愈）节点故障根因（定位）云A 云B 节点节点节点节点应急处理（预案/自愈）云B应用变更，传导到云A业务大盘下跌，云B阻断变更节点风险预警（风险事件）节点故障根因（定位）云B容量不足，云B应用线程积压，云A降级恢复

19. 蚂蚁混合云技术风险防控-跨云应急跨云调用的主站指标业务指标金融交换云A业务链路云B业务链路 0.监控触发告警并提供业务失败traceid列表 0’. 系统指标、业务rpc发生异常 0’. 云上监控触发云上告警的通路监控平台应急平台应急平台 1. 自愈会基于事前在监控的规则产生异常事件 3.自愈通知 1.云A告警拉起应急并根据业务租户发起跨云应急可信数据通道 2.云A定位中台将失败的traceid传给云B定位中台异常trace 业务日志清洗 2.云B应急根据业务租户和监控，匹配云应急和启动跨云的新应急定位中台自愈中台 2.自愈引擎会基于场景和动作指标决策出用于止血的恢复手段 3.云B定位中台对失败的traceid串联trace，做异常特征挖掘定位中台 5.云A根据传回来的定位根因结论，将云A事件和云B回传的根因串联在一起，帮助恢复预案决策 4.云B定位中台回传定位结论，包含站点，租户信息异常trace 日志分析 • 应急拉起 • 应急定位 • 应急自愈云A 云B

20. 蚂蚁混合云技术风险防控-跨云变更应用应用 1.触发变更应用变更搜索可以查询应用应用应用产品发布应用发布配置发布应用变更工单a … … 可信数据通道变更防御能力变更窗口监控告警分批监控参数校验 <自定义> 跨云风险可信数据通道 4.匹配防御变更搜索变更事件输出变更工单b 变更管理变更管理变更场景元数据 2.变更事件同步跨云变更事件云内变更事件 3.匹配规则跨云防御规则变更防御能力变更窗口 6.查询变更执行结果智能分批监控新增突增异常 … 云A 监控告警变更窗口变更参数 …… 6.聚合所有规则结果云B • 变更记录跨云搜索 • 变更跨云防御云A 云B • 跨云的数据访问权限控制

21. 蚂蚁混合云技术风险防控-跨云活动保障压力防御链路图应用应用应用应用应用应用应用压力机金融交换云A业务系统云B业务系统 0.云B系统发生异常大促活动平台限流平台预案平台 … 3.执行压测熔断大促活动平台可信数据通道限流平台预案平台监控平台可信数据通道 … 压测平台云A 云B 作战手册预案梳理执行前后置依赖压测平台 2.监控事件溯源双11大促预案保障场景为例链路梳理 1.监控系统触发熔断云A 云B 定时执行 …… • 大促多云联动 • 跨云压测熔断

22. 蚂蚁混合云应用案例

23. 蚂蚁混合云应用案例-蚂蚁大促场景源机房网关系统异步任务源机房弹性机房网关系统应用A 应用A 应用B 应用B 应用C Zone层面承载用户减少一倍流水型主库 00.01.02.03 异步任务状态型主库 00 状态型主库 01 状态型主库 02 状态型主库 03 弹性机房源zone流水型DB 承载用户减少一倍流水型弹性库 01.03 应用D 应用D 应用侧弹出状态型主库 01 APP层面可扩容机器增加一倍状态型主库 03 存储侧弹出状态型DB拆百后主备切换

24. 蚂蚁混合云应用案例-蚂蚁多主体交互蚂蚁主站租户隔离部署租户隔离部署租户隔离部署 TLDC技术体系/三地五中心同城云通基座同城云通基座异地云通基座从中心化转为去中心化异构到多云底座专线独立持牌公司租户隔离部署租户隔离部署 TLDC技术体系/两地三中心同城专有云基座异地专有云基座实现跨云风险免疫专线独立持牌公司单租户部署 TLDC技术体系/两地三中心同城公有云基座异地公有云基座

25. 蚂蚁混合云应用案例-支付宝小程序云软件代码风险服务部署风险系统运行风险业务运营风险代码和配置中的静态风险系统部署流程和代码变动风险系统运行中的风险发现与自动处置业务运营防薅羊毛等场景识别安全漏洞软件合规故障扩大化指标与端侧防御智能监控告警容量弹性伸缩业务“黄牛” 容量保障软件缺陷配置风险止血不及时变更影响分析应用多活容灾单机异常自愈活动性能压测隐私合规服务部署风险识别运行时风险识别与处置业务运营时风险识别自动识别变更风险，智能决策回滚自动配置监控，容量弹性伸缩，异常自愈自动压测，容量保障；自动识别业务风险软件风险识别与修复自动建模->自动识别->自动修复风险巡检变更风险防御变更异常检测容量弹性伸缩智能监控告警恶意用户识别安全漏洞代码SCA扫描变更影响面分析单机异常自愈 DB SQL异常自愈隐私合规政策漏洞一键修复软件依赖合规 DDOS流量防护机房容灾多活黄牛刷单防护性能压测与分析解决独立输出场景架构问题

26. 蚂蚁混合云应用案例-支付宝小程序云支付宝小程序 cloudrun.alipay.com ISV客户端 PC web / APP… 公网访问公网访问公网/callcontainer 小程序云管控区小程序云服务区统一接入安全防护统一接入 ISV2 小程序后端 VPC2 ISV1 小程序后端 VPC1 测试环境极简灰度生产流量 ISVn 小程序后端 VPCn 生产环境生产环境测试环境极简灰度统一接入安全防护前端网关生产环境生产流量测试环境极简灰度生产流量多语言支持 Java/JS/PHP… 多语言支持 Java/JS/PHP… 多语言支持 Java/JS/PHP… 蚂蚁安全容器蚂蚁安全容器蚂蚁安全容器对客产品管控集支撑专有云输出小程序云技术支撑高效研发服务托管服务弹性伸缩 DB弹性伸缩极速部署风险智能托管云函数运维稳定性 Cloud IDE 链路追踪安全分布式缓存安全防护 KV数据库环境隔离秒级监控云执行环境存储数据库分布式数据库数据库管理性能工具（TopSQL/慢SQL）安全容器隐私计算技术沉淀对象存储日志服务操作审计智能告警

27. Q&A 微信联系方式钉钉联系方式

28.

29.