1. 传统运维尚未触及的云原生安全探索 演讲人：SUSE 大中华区高级解决方案专家 李胤霖 全球敏捷运维峰会 广州站

2. 为什么要有这样一个分享？——容器在中国的落地情况 • 68% 的企业在生产中 使用容器 • 94% 的企业至少在一 个阶段使用容器 数据来源： CNCF 云原生调查中国 2020 全球敏捷运维峰会 广州站

3. Agenda • 传统运维中的安全与云原生安全有何不同？ • 常见的云原生安全攻击面 • 常见的云原生安全手段 • 云原生安全应该具备的防与护 全球敏捷运维峰会 广州站

4. 传统运维中的安全与云原生安全 有何不同？ 全球敏捷运维峰会 广州站

5. 传统运维中的安全与云原生安全有何不同？ 我们经常讲的安全指的是什么？ • 信息安全 • 计算机安全 • 网络安全 • 信息技术安全 • 云安全 • 运维安全 全球敏捷运维峰会 广州站

6. 传统运维中的安全与云原生安全有何不同？ 安全是 IT 中即受重视，又容易忽视的一个东西。 无论是开发、运维，都可以很熟悉地说出与自己工作相关的一些安全的做法，比如： • 开发会提到自己的应用程序访问使用 https 加密更安全 • 运维会提到使用防火墙来隔离应用程序和控制访问策略更安全 安全其实与我们的 IT 息息相关，但却是一个开发和运维都不想主动去深入的东西。 全球敏捷运维峰会 广州站

7. 传统运维中的安全与云原生安全有何不同？ 网络安全中的网络隔离是运维中最简单有效的保护应用程序不被黑客攻击的最佳实 践之一，也可以有效地在漏洞出现时控制攻击范围。 在传统运维中我们是怎么做的： • DMZ • 物理网段隔离 • 数据中心隔离 • VPC和安全组 • 管理网络和数据网络分离 全球敏捷运维峰会 广州站

8. 传统运维中的安全与云原生安全有何不同？ 可以看到这些手段其实都是基于传统的物理分段和传统防火墙来实现流量隔离的， 这些技术手段在云原生环境中变得“无能为力”。 全球敏捷运维峰会 广州站

9. 传统运维中的安全与云原生安全有何不同？ ”The DMZ is Dead？” 全球敏捷运维峰会 广州站

10. 传统运维中的安全与云原生安全有何不同？ Kubernetes 在传统物理网络之上架设了一个 Overlay 网络，默认整个网络内部 没有网络隔离。 一旦一个应用由于某些漏洞/脆弱性而出现被入侵/攻击/提权，进而影响的攻击范围 是整个集群，包括集群内部所有的业务应用。 全球敏捷运维峰会 广州站

11. 传统运维中的安全与云原生安全有何不同？ Kubernetes 虽然也提供了 Network Policy 用于容器之间的网络隔离策略，但原 生的 Network Policy 不适合生产落地，主要有以下几点考虑因素： • 策略配置的复杂性 • 缺乏策略自动化管理框架 • 可观测能力的缺失 • 无法检测受信任连接中的异常攻击行为 • 网络/安全人员对云原生技术的学习曲线 全球敏捷运维峰会 广州站

12. 传统运维中的安全与云原生安全有何不同？ 在云原生环境中，我们的需求与传统的网络隔离不同，我们需要的是： 在容器环境下能够自动识别、自动学习的微隔离/微分段技术 全球敏捷运维峰会 广州站

13. 传统运维中的安全与云原生安全有何不同？ 容器的网络隔离问题仅仅只是冰山一角，Gar tner 在 21 年 12 月份发布的一份研究报告“Containers: 11 Threats and How to Control Them” 中总结了容器所面对的11种安全威胁，其中比较有代表性的如以下 三种： 容器威胁向量 5st：微服务通信和东西向隔离 容器威胁向量 1st：开发系统 •容器在数据中心网络之上自己架设了一 •随着 IaC 的兴起，应用开发人 层容器网络，默认同一个 Kubernetes 集 员在本地 IDE 所编码的远不止应 群内所有容器都是能够互相访问的，不受 用，可能还包括基础架构的配置、 传统网络隔离的控制，而 Network 访问数据库的秘钥、甚至是应用 Policy 无法落地，也无法支持七层的东西 之间的访问关系等，都可以在编 码中定义。 容器威胁向量 2nd：镜像仓库 向隔离或控制七层攻击行为。 • 无法保证容器镜像的来源和安全性，据统计 Docker Hub 上 30% 的镜像包含高危漏洞，70% 的镜像包含中危以上漏洞。 全球敏捷运维峰会 广州站

14. 常见的云原生安全攻击面 全球敏捷运维峰会 广州站

15. 常见的云原生安全攻击面——Cyber Kill Chain 与 MITRE ATT&CK 介绍 安全攻防讲究方法论。云原生安全是信息安全、网络安 全等传统安全的延伸，传统安全的评估方法一样适用。 网络安全中最出名的莫过于 MITRE 在洛克希德·马丁公 司提出的网络杀伤链的基础上完善而推出的 ATT&CK 框架，现在几乎已经成为网络安全领域描述安全威胁的 行业标准。 全球敏捷运维峰会 广州站

16. 常见的云原生安全攻击面——Cyber Kill Chain 与 MITRE ATT&CK 介绍 在 MITRE 推出的第九版 ATT&CK 新增的容器的威胁矩阵框架： 全球敏捷运维峰会 广州站

17. 常见的云原生安全攻击面——Kubernetes 威胁矩阵 Initial Access 初始访问 Execution 执行 Persistence 持久性 Privilege Escalation 权限提升 Defense Evasion 防御逃逸 Credential Access 凭证访问 Discovery 发现 Lateral Movement 横向移动 Collection 收集 Impact 影响 Using Cloud Credentials 云凭证泄露 exec into Container 利用kubectl exec远程 执行恶意命令 Backdoor Container 后门容器运行恶意代码 Privileged Container 受污染的特权容器对主 机资源不受限的访问 Clear Container Logs 删除被攻击的容器日志 避开安全检测 List K8S secrets K8S Secrets 敏感信息 和凭证泄露 Access the K8S API server 访问 K8S API 检索集群 各种资源信息 Access Cloud Resources 从受污染的容器逃逸转 移访问云环境资源 Images from a Private Registry 私有镜像仓库镜像中的 数据被收集 Data Destruction 数据破坏 Compromised Images in Registry 恶意镜像植入 Bash/CMD inside Container 在容器内执行恶意命令 Writable hostPath Mount 可写的主机目录挂载向 底层主机注入恶意代码 Cluster-admin Binding 攻击者对集群管理员角 色创建绑定权限从而获 得高权 Delete K8S Events 删除 K8S 事件避开集群 安全检测 Mount Service Principal 恶意容器对节点的挂载 访问导致云凭证泄露 Access Kubelet API 访问 kubelet API 检索 节点和运行的 Pod 信 息 Container Service Account 由服务账户 Token 获 得其它资源访问权限转 移访问 Resource Hijacking 资源劫持（例如数字货 币挖矿） Kubeconfig file Kubeconfig 泄露 New Container 部署新容器运行恶意代 码 Kubernetes CronJob 计划任务容器执行恶意 代码 hostPath Mount 主机路径挂载访问底层 主机从而从容器逃逸到 主机 Pod / Container name similarity Pod / 容器 名称伪装 Access Container ServiceAccount 容器服务账户凭证泄露 Network Mapping 映射集群网络执行内网 扫描来发现应用程序和 扫描漏洞 Cluster Internal Networking 通过集群内部网络转移 攻击其它容器 Denial of Service （DoS） 拒绝服务 Application Vulnerability 应用程序漏洞 Application Exploit (RCE) 应用程序 RCE 漏洞利 用 Malicious Admission Controller 恶意准入控制器拦截注 入恶意容器 Access Cloud Resources 云资源管理信息泄露 Connect from Proxy Server 通过代理服务器隐藏源 IP 访问应用程序或集群 API Applications Credentials in Configuration Files 配置文件中的应用程序 凭证泄露 Access Kubernetes Dashboard 访问 Dashboard 获得 身份权限检索集群各种 资源信息 Applications Credentials in Configuration Files 配置文件中的应用程序 凭证泄露转移攻击其它 资源 Exposed Sensitive Interfaces 暴露敏感接口 SSH Server running inside Container 运行 SSH 服务的容器 被攻击利用 Access Managed Identity Credential 身份凭证泄露 Instance Metadata API 访问云主机实例元数据 API 检索主机所有元数 据信息 Writable Volume Mounts on the Host 从可写的主机目录挂载 转移攻击底层主机 Sidecar Injection Sidecar 注入恶意容器 Malicious Admission Controller 恶意准入控制器 拦截记录凭证信息 CoreDNS Poisoning CoreDNS 中毒改变 DNS行为并对其它服务 进行身份窃取 ARP Poisoning and IP Spoofing ARP 中毒和 IP 欺骗对其它服务执行 网络攻击和身份窃取 全球敏捷运维峰会 广州站

18. 常见的云原生安全攻击面——安全问题实例 2018 年黑客入侵了特斯拉在 AWS 上的 Kubernetes 容器集群。由于该集群控制台未设 置密码保护，黑客便得以登录并在 Secret 中获取到 S3 的访问凭证， 然后据此凭证访 问 S3 存储桶，通过 S3 获取到了一些敏感数据， 比如遥测技术。 还在特斯拉的 Kubernetes 集群中进行挖矿。 此次事件黑客的 挖矿行为有以下特点： • 没有使用公共矿 池， 使得基于标准 IP / Domain 的威胁情 报源难以检测到 恶意活动。 • 将矿池服务器真实 IP 地址隐藏在 CDN 之后，使得基于 IP 的数字货币挖矿 活动检测增加了难度。 • 挖矿软件被配置 为监听非标准端口，使得 很 难根 据 具体 端 口 流量检测到恶意 活动。 • 最重要的是 ，与我们常规的思维惯例不同，黑 客 将 挖矿 软 件 配置为低 C PU 使用率以逃避检 测， 很难从资源利用率上去 分析定位。 全球敏捷运维峰会 广州站

19. 常见的云原生安全手段 全球敏捷运维峰会 广州站

20. 常见的云原生安全手段 全球敏捷运维峰会 广州站

21. 常见的云原生安全手段 全球敏捷运维峰会 广州站

22. 云原生安全应该具备的防与护 全球敏捷运维峰会 广州站

23. 云原生安全应该具备的防与护——云原生安全初级阶段 全球敏捷运维峰会 广州站

24. 云原生安全应该具备的防与护——云原生安全初级阶段 云原生安全初级阶段的定义和特征： ——以常见的组成云原生管理平台的各种构建、编排、部署、运行、管理工具提供 的安全能力为主，以人为制定相关安全标准规范为辅，构建基础的初级云原生安全 能力。 ——以预防为主，着重于减小攻击面。 全球敏捷运维峰会 广州站

25. 云原生安全应该具备的防与护——云原生安全初级阶段 日防夜防，“家贼”难防！ 扫描对象：registry.redhat.io/rhel:7.7 • 646 个漏洞，其中 262 个中危漏洞，9 个高危漏洞 • 33.3% 的高危漏洞官方明确不会修复 • 确定要修复的高危漏洞，超过一年还没发布修复补丁 • 74.4% 的中危漏洞官方明确不会修复 • 73% 的中高危漏洞官方明确不会修复 注： 扫描工具： T riv y 扫描时间： 2020 / 6/ 24 全球敏捷运维峰会 广州站

26. 云原生安全应该具备的防与护——云原生安全中级阶段 云原生安全中级阶段的定义和特征： ——以云原生安全平台的提供的容器生命周期安全能力为主，各种构建、编排、部 署、运行、管理工具提供的安全能力为辅，以人为制定相关安全标准规范为补充， 打造贯穿整个应用生命周期的云原生安全能力。 ——以保护为主，着重于以模型/矩阵为指导形成全方位的应用程序保护。 全球敏捷运维峰会 广州站

27. 云原生安全应该具备的防与护——云原生安全中级阶段 构建，部署，运行全生命周期安全： • 构建：镜像构建扫描，避免生成有隐患 的镜像。 • 部署：通过准入控制策略机制，避免有 隐患的镜像和不符合策略要求的容器部 署到环境。 • 运行：四层/七层防火墙避免外部攻击 和数据窃取。 • 运行：东西向网络动态微隔离，避免内 部攻击扩展。WAF 防火墙避免外部攻 击。 • 运行：容器内病毒、木马、破解器防护。 • 主机、Runtime、K8S 级别安全基线 扫描，合规性评估。 全球敏捷运维峰会 广州站

28. 云原生安全应该具备的防与护——云原生安全中级阶段 DevOps流程（CI/CD）对接，实现安全管理前置 • 构建阶段自动执行漏洞扫描 • 执行自动化安全基线 • 扫描公共、私有、第三方镜像库 • 对进入生产环境的镜像和部署进行准入控制 • 镜像漏洞分析 • 对海量容器镜像进行极快速扫描 • CI/CD流程无缝集成 • 对生产环境进行全方位保护 全球敏捷运维峰会 广州站

29. 云原生安全应该具备的防与护——云原生安全中级阶段 • 全面展现整个云原生环境中的流量 可视化 • 实时响应实例的扩缩容和更新 • 记录实例连接关系、负载、网络包 信息和安全事件，可直接进行抓包 • 与外部数据分析系统和告警系统集 成 全球敏捷运维峰会 广州站

30. 云原生安全应该具备的防与护——云原生安全中级阶段 • 主动声明式防护策略。自动探测服务之间关系， 自动实现微隔离。 • 黑白名单安全策略。基于不可信网络实行白名单， 或可信网络实行黑名单。 • 智能化预测行为。从应用程序的元数据和行为数 据上分析行为意图。 • 七层深入网络分析（DPI）。深度解析数据包， 判断数据包行为。 • 自动威胁防护。执行 DDoS, DNS 等攻击的自动 防护。 • 容器级别保护。阻止可疑连接或是隔离整个容器。 全球敏捷运维峰会 广州站

31. 云原生安全应该具备的防与护——云原生安全中级阶段 七层数据泄露防护（DLP）——监测数据窃取行为，阻止应用敏感数据对外泄露 全球敏捷运维峰会 广州站

32. 云原生安全应该具备的防与护——云原生安全中级阶段 防护案例： 针对前段时间核弹级影响的 Apache Log4j2 漏洞，利用云原生安全的相关能力，能起到什么作用？ 以目前唯一开源的 NeuVector 为例： 1. 扫描现网所有的容器镜像和正在运行的容器，确定整个 IT 环境中有哪些容器应用使用了 Log4j 组件； 2. 对使用了 Log4j 2.10 以上版本的容器应用，统一在 YAML 中添加 LOG4J_FORMAT_MSG_NO_LOOKUPS 环境变量的 Workaround 动作，并重新发布流水线； 3. 配置零信任访问控制，为所有使用了 Log4j 组件的、会被外部访问到的容器应用启用保护模式，阻断新 的异常连接； 4. 实时检测应用容器中与 RCE 远程代码执行相关的可疑进程，发现可疑进程进行隔离，并发出警告通知到 安全团队； 5. 添加 Admission Control 准入控制规则，阻止任何具有 CVE-2021-44228 漏洞的镜像进行部署； 6. 配置 WAF 规则，对请求流量中的 ${ jndi 进行拦截。 全球敏捷运维峰会 广州站

33. 云原生安全应该具备的防与护——云原生安全高级阶段 DevSecOps 与 Security Shifting Left 软件供应链安全 Software Supply Chain Security 云原生安全 高级阶段 安全即代码 Security as Code Secure Access Service Edge (SASE) Cloud Native Application Protection Platform (CNAPP) 全球敏捷运维峰会 广州站

34. 关注我们 扫描上方二维码，即可免费领取 《Kubernetes 安全白皮书》 全球敏捷运维峰会 广州站

35. THANK YOU！ 全球敏捷运维峰会 广州站