基于 OpenYurt 的边缘云原生架构落地实践

如果无法正常显示，请先停止浏览器的去广告插件。

1. 基于 CNCF OpenYurt 的边缘云原生架构落地实践黄玉奇阿里云高级技术专家

3. • 边缘计算背景 • 云原生和边缘计算联合架构 OpenYurt • OpenYurt 核心技术内幕 • OpenYurt 商业实践及落地案例 • OpenYurt 未来规划

4. 什么是边缘计算业务发展、算力下沉边缘计算（ Edge Computing ） 1 • 边缘计算是将工作负载部署在边缘的一种计算方式； 2 智能边缘算力下沉 • 分散式运算架构，靠近物、数据源或用户的地方进行应用计算与数据存储； • 边缘计算四大驱动力：延迟/确定性，数据/带宽，有限的自 3 治权，隐私/安全性。 • 边缘计算的核心目标是快速决策。 4 • 行业：汽车、农业、交通、医疗保健等

5. 边缘计算行业现状边缘运维复杂性迅速上升 • 随着边缘计算的形态、规模、复杂度的日益增长，运维能力难以满足边缘业务的创新速度； • “未来企业都在全力追求超规模、超高速、超连接”，又进一步加剧运维管理的复杂度。智能设备剧增，业务下沉增多边缘计算规模和业务复杂度云边端运维协同难度大异构资源支持困难

6. 云边一体的边缘云架构云原生加速了多云、云边融合云计算 + 云端统一管控边缘适度自治边缘计算 Infrastructure Edge E.g. CDN, ENS 设备就近接入支持多种设备接入协议 • • • AI推理实时计算直播、转码边缘计算云原生基础设施 • 在任何基础设施上提供和云上一致的功能和体验； • 云边运维协同、算力混编、网络协同等； Device Edge E.g. 工厂、园区、楼宇、机场、设备网关 • 安全的工作负载运行环境，流量控制、网络策略； • 异构资源支持；

7. • 边缘计算背景 • 云原生和边缘计算联合架构 OpenYurt • OpenYurt 核心技术内幕 • OpenYurt 商业实践及落地案例 • OpenYurt 未来规划

8. 云原生的概念云原生的定义和技术范畴 Kubernetes Elastic Computing Serverless Cloud Native CI/CD Envoy Declarative APIs DevOps Container AI Ops Service Mesh Database Disaster Recovery 云原生用开放、标准的技术体系敏捷的构建和运行高弹性、容错性好、易于管理的系统帮助企业最大化利用云的能力，最大化发挥云的价值

9. Kubernetes已经成为云原生操作系统 55% of respondents use stateful applications in containers in production – CNCF Cloud Native Survey 2020 自动化工作负载优化 Web应用通用的、标准化、可扩展的控制面 Scheduler 计算资源调度与编排屏蔽基础设施差异 Zoo keeper (Device Plugin ) Redis Mysql TIDB Kubernetes Cloud Controller 网络 (CNI) 公共云 Kafka Elastic Search Tensor Flow CRD/Controller 存储 (CSI) 边缘计算 Spark 安全混合云 Flink

10. 边缘计算 K8s 落地挑战中心云 K8s在云边端一体化场景的关键挑战 Worker node K8s Control Plane 跨网络平面内网 ECS ECS ECS 边到云通信质量不可靠云到边网络复杂多地域应用部署地域内流量闭环边缘云 Worker node K8s Control Plane 公网杭州 Node PodA 北京 Node PodB PodA PodB

11. OpenYurt非侵入云原生架构延伸原生 kubernetes 到边缘计算的智能开放平台 01 03 边缘应用管理 • 节点单元化管理 • 单元化应用部署模型 • Service流量拓扑管理 Cloud 边缘自治能力 • • • • 云边双中心节点状态精细化检测节点/节点池双重自治元信息保持能力 Edge 02 边缘计算力管理 • • • • 算力快速接入 arm、X86等异构支持边缘轻量化接入云边资源弹性能力 Pool1 Pool2 04 原生K8s非侵入增强 • • • • 支持K8s标准原生能力原生运维接口支持存储、网络接口能力提供标准K8s接口

12. 基于OpenYurt的云边一体化架构构建分布式云、云原生边缘计算架构首选行业解决方案 OpenYurt 非侵入能力云边缘计算和云生态融合边缘自治网络协同云边混合弹性 Prometheus 日志服务异构资源支持边缘区域化管理运维协同云监控 ENS Network 边 SD-WAN VPN Tunnel Edge Pod Worker Edge Pod Worker Edge Pod Worker CDN IDC IoT Device 边缘计算设施/ 分布式云 Edge Pod Worker IoT Gateway 边缘设备/ IoT 智能设备

13. 基于 OpenYurt 打造的边缘容器核心能力 • 通过纳管边缘节点将云上应用延伸到边缘，联动边缘和云端的数据，使得边缘节点拥有云端相同能力。 • 在云端提供对边缘设备、边缘应用的统一Ops能力，保证边缘设备及边缘智能应用少运维、高可用。边缘算力管理云端管控、边缘自治边缘容器化应用管理边缘云原生生态节点异构支持云端统一生命周期管理节点自治非侵入易集成节点快速接入上云边缘应用免运维单元化自治边缘云市场单元化管理云端运维服务对接节点运维边缘业务流量管理可接入可运维软硬多链路云边网络通道单元内高可用云端编排边缘免运维软硬一体化交付服务云边一体化业务生态完整

14. • 边缘计算背景 • 云原生和边缘计算联合架构 OpenYurt • OpenYurt 核心技术内幕 • OpenYurt 商业实践及落地案例 • OpenYurt 未来规划

15. 技术详解 - 面向弱网络连接的边缘自治 Kubernetes Master YurtControllerManager Cloud  背景 • 边缘节点与云端网络弱连接 • K8s原生设计依赖网络持续稳定 • 弱网络连接下，边缘业务高可用保障公网https Edge Node1 Node2 Yurt-Hub Kubelet Pod Pause kube- Proxy eth0 Yurt-Hub 证书 Flannel Pod Pause DNS eth0 数据 Kubelet Pod Bridge(cni0) Flannel.1(eth0) Pause kube- Proxy eth0 证书 Flannel Pod Pause Bridge(cni0) vxlan(UDP) Flannel.1(eth0) DNS eth0  原则 • 非侵入，可演进，扩展性好数据  解决方案 • Yurt-hub缓存云端的数据，所有系统组件均从Edge-hub获取数据； • 网络自治：Pod IP保持，Mac保持 • 云端，YurtControllerManager根据节点自治标签管理Pod驱逐策略

16. 技术详解 - 面向弱网络连接的边缘自治 Kubelet KubeProxy … Flannel  能力 Http Server LocalHost:10261 LocalHost:10267 Certificate Manager Health Check Online? No Local Proxy Yes Load Kubernetes APIServer Balancer GC update YurtHub Cache Manager Storage Manager  LoadBalancer能力，解决K8s管控的负载均衡访问  节点证书管理前置，解决证书自动轮换问题  边云网络连接状态实时检测，请求Handler 无档切换  优势  kubelet 零修改，意味原生 kubelet 能力天然具备，同时跟随 Kubernetes 版本升级零负担；  可扩展性强，节点其他组件轻松复用 YurtHub；  与 Kubernetes 设计理念契合，YurtHub 非常容易扩展出更多的能力。 Local Disk 参考：https://mp.weixin.qq.com/s/4BLfvMJJA623ZwRSgUE69A

17. 技术详解 - 构建云边高效协同运维网络 Kubernetes Master Prometheus Metricserver Tunnel server Cloud Edge  背景云边跨网络平面，并且边缘普遍无公网IP • K8s原生运维能力缺失(如kubectl logs/exec等) • 社区主流监控运维组件无法工作(如Prometheus) gRPC  原则 • 非侵入，安全，低成本防火墙 Node Pod Pod Tunnel Agent Kubelet Pod Node Pod Tunnel Agent Pod Kubelet Pod  解决方案 • 自研K8s非侵入云边反向穿透组件(集成了 ANP)，构建双向认证加密的云边协同网络 • 采用gRPC协议压缩, 最大减少40%通信量 • 节点专属证书并具备证书轮转能力，确保隧道长期安全可靠 • 云端请求无缝接入支持(iptables/dns)

18. 技术详解 - 构建云边高效协同运维网络 Yurt-Tunnel  能力  请求拦截模块: 提供纯http请求支持  证书管理模块: 云边双向认证加密，并提供证书过期自动轮换能力  Iptables manager: 请求dnat入隧道  配合dns域名解析，支持无缝导流云端组件请求到隧道  优势  安全、非侵入、可扩展、传输高效的反向通道解决方案  ANP（https://github.com/kubernetes- sigs/apiserver-network-proxy）和K8s体系融合程度更高参考：https://mp.weixin.qq.com/s/QVrygAyq01AWbvgj1ihBEQ

19. 边缘单元化管理边缘单元精细化管理业务及业务流量 topology:unit svc 云端管控侧 • EdgeUnit可以对节点做单元化批量管理（标签、 annotate、调度策略配置等） • 流量管理支持原生service的流量拓扑管理，支持service 流量在Unit内、节点内闭环，提供更高的安全性、稳定性（topology描述流量拓扑域） • 应用管理提供单元化部署模型EdgeDeploy，支持原生 APPs 模型的单元化部署（subset提供单元化分布配置）单元化管理单元化应用发布流量管理 subset: eu1: 2 eu2: 3 OpenYurt deploy 应用管理 replica:3 云管边通道 deployment replica:2 deployment 边缘侧边缘单元2 pod 边缘单元1 节点3 pod 节点4 pod svc pod 节点1 pod 节点2 pod 节点5 pod 应用发布逻辑 Service访问链路

20. OpenYurt 异构资源支持能力提供海量异构资源接入能力 Web控制台命令行应用打包 OpenYurt 集群管控 GPU 节点池 Linux 节点池 Nginx Kubelet GPU Exporter Device Plugin AI model1 Pod1 AI model2 Pod1 gpu0 gpu0 cGPU Container Runtime gpu0 Worker Windows节点池 PHP SQL Server IIS ASP.NET 镜像仓库服务ACR 云原生交付链

21. OpenYurt云上云下业务互联及弹性能力深度集成云厂商 SD-Wan 网络方案、边缘计算资源能力 Cloud Cloud OpenYurt 集群公网端点云端计算节点内网端点 OpenYurt集群云边一体HPA Autoscaling 边缘单元化管理 ECS资源池 CEN云企业网 CCN云连接网 Edge 全球接入点自动选择 Ipsec加密 SD-WAN Edge Edgeunit-1 Autoscaling Edgeunit-2 Edgeunit-3 Autoscaling 冷/热备支持多上连端点互备边缘计算节点边缘计算节点 OpenYurt云边协同网络架构 ENS华北移动IDC ENS华东电信IDC OpenYurt云边一体弹性构架用户自有边缘资源

22. 基于阿里云SD-WAN的云上云下网络协同云上云下业务互通 VPC1 Alibaba cloud service ACK@ Edge K8s control plane ECS Pod Cloud VPC2 ECS Pod Pod Pod APP vpc: 10.0.0.0/24 APP • 通过 SD-WAN 打通边缘网 Cloud Enterprise Network (CEN) Cloud Connect Network (CCN) Edge Multiple network types 、Security、 Efficiency 络和云上 VPC，提升云边网络协同的安全性、可靠性 SD-WAN • 低延迟、高网络带宽的应 Node Pool Edge Worker Edge Worker eth0 用，通过云端统一管理， Edge Worker 如：CDN、音视频加速、直 10.0.0.0/24 via 172.20.1.75 dev cni0 Pod Pod egw pod （standby） kubelet eth1 containerd OS Routing to PodIP:172.20.1.75 Pod IP:10.0.10.3 eth1 Pod egw pod Pod kubelet Pod Routing to 10.0.0.0/24 via 10.0.10.3 dev eth1 kubelet containerd OS 播、云游戏 eth1 containerd OS

23. 云边协同的弹性能力更好的应对边缘业务流量 VPA – 垂直伸缩 HPA – 水平伸缩应用伸缩 Pod Pod Pod Pod Pod Pod Pod 定时伸缩 Pod Pod Pod Pod Pod Pod Pod ACK@Edge（OpenYurt） ECS虚拟机 ENS边缘虚拟机实例云下自建节点竞价实例虚拟节点资源伸缩 Pod Pod Pod Pod Pod Pod Pod Pod ECI ECI Pod Pod Pod Pod Pod Pod Pod Pod ECI ECI ECS节点千节点分钟级弹性扩容；弹性容器实例 30秒500 Pod

24. • 边缘计算背景 • 云原生和边缘计算联合架构 OpenYurt • OpenYurt 核心技术内幕 • OpenYurt 商业实践及落地案例 • OpenYurt 未来规划

25. OpenYurt 的商业化实践 ACK@Edge 边缘容器是新边界数据&智能 DevOps 分布式应用云原生数据库 PolarDB 通用计算平台 MaxCompute 机器学习平台 PAI API 网关 Cloud Shell/云IDE 消息队列 MQ 持续集成云效事件总线 EventBridge 实时计算可观察性和分析应用性能监控 ARMS 应用高可用 AHAS 资源编配链路追踪 Serverless 面向容器 Serverless K8s - ASK 弹性容器实例 - ECI 面向应用 Serverless 应用引擎 SAE 面向函数 Function Computing 日志服务安全容器编排容器服务ACK 容器镜像服务 ACR 公共云专有云托管服务网格 ASM 边缘云云安全中心

26. 案例-分布式云业务和流量管理分布式云场景下的业务及流量智能管理直播业务PaaS平台 OpenYurt 云 Edge-Cloud Tunnel ZONE1 ZONE2 AP Edge-Cloud Tunnel CONTR OL 边北美数据中心新加坡数据中心业务Pod •各地域数据中心统一接入ACK@Edge，做资源管理和业务编排调度；云边运维协同； •流量管控流程：User -> AP -> Control -> 业务Pod；以流量分配代替流量转发，解决分布式云场景下的弹性负载均衡； ZONE3

27. 案例二物联网场景下云边端协同基于云原生的云上管控、边缘计算的服务体系云控平台全局认知应用编排指标监控远程运维租户隔离全局管控镜像管理数据上云 Tunnel Server Web Console 状态告警全局优化软硬一体生命周期管理云边协同管算力卸载云边协同数据上云边缘计算近边计算缓解流量压力视频接入信号优化车路协同 AI推理区域优化双向互通视频标定参数配置服务监控算法调度安全交互采集相机卡口雷视一体机 OBU 信号机边缘自治近场计算单元化部署单元化流量 OpenYurt 低延迟端服务治理数据共享 Edge Tunnel CEN + CCN 区域优化 RSU 诱导屏导航App 车载盒子

28. 案例三物流行业的云边协同架构边缘PaaS云平台逻辑边缘  申通快递IoT云边端架构是快递行业在边缘侧演进云原生架构的首例落地方案应用发布  提供同云上研发体系完全一致的研发模型，实现云上物流云资源申请/变更流水线和云下资源的统一管理 ACK@Edge/Openyurt 运维部署  提供边缘开箱即用的容器化隔离应用环境，边端应用相互间影响范围大幅缩小，边缘高可用，稳定性从 99.9%提高到99.95% 仓储中心仓储中心(边) 服务代理边缘插件集合系统进程协议适配扫描边缘应用驱动管理  云边协同的一体模式，统一的监控体系，研发模型，网关互通同云应用开发效率和体验一致，云原生边缘DevOps UCS 平台，统一快递行业面向边缘IoT场景的研发，运维负载均衡连接管理 Webshell 系统保活场景，整体边端体系RT降低到平均50ms以下。插件体系星图接入SDK 端设备自动化设备 Lemo PDA巴枪扫描端交叉带 DWS设备

29. • 边缘计算背景 • 云原生和边缘计算联合架构 OpenYurt • OpenYurt 核心技术内幕 • OpenYurt 商业实践及落地案例 • OpenYurt 未来规划

30. OpenYurt未来规划新行业交通，能源、农业、工业等新形态软硬一体交付、云边一体服务新场景边缘计算、分布式云、物模型  OpenYurt将继续联合社区及开发者生态：边缘计算云原生标准、统一被集成切面 • 边缘场景资源丰富度边缘场景运维标准公共云产品云边多维度协同 IoT云原生标准边缘计算中间件集成私有云产品行业PaaS OpenYurt 计算存储网络分布式云（公共云、边缘计算、专有云） Edge Nodes IoT Devices On-Premise 共同打造IoT设备孪生，物模型云原生标准，触达更多物联网行业开发者，推动云原生落地； • 提供边缘云资源接口能力标准； • 继续完善软硬一体化交付模型； • 联合中间件厂商推动传统中间件能力下沉边缘；

31. 社区dingding群，谢谢大家 OpenYurt Slack地址: https://join.slack.com/t/openyurt/shared_invite/zt-rc5ecz4h-sEWU1vYx5gzc3_zx3En0jg

32.

33.