吴小伟-Kubernetes 管理复杂异构应用在端点Dice平台中的实践

1. Kubernetes 管理理复杂异构应用用在端点 Dice 平台中的实践吴小小伟(一一啸)

2. 公司介绍端点新商业软件提供商

3. 企业应用用架构的复杂性销售系统数据库供应链系统缓存办公系统中间件生生产管理理系统搜索 (ElasticSearch) 会员管理理系统实时计算 (Spark/Flink) 实时数据大大屏数据同步 (全量量/增量量) 数据平台⻓长时服务短时任务

4. 企业应用用的研发痛点业务复杂，甚至至历史业务系统需要梳理理需求多变，客户自自己己可能都不不完全清楚需要什什么基础软件运维复杂、时间成本高高系统上线后，稳定性差，问题难排查

5. 一一个高高效的平台，将助力力力一一个 Application PaaS 企业数字化应用用的研发

6. 系统架构 Web UI、CLI、OpenAPI、WebHook 容器器管理理代码托管 CMDB 数据平台日日志服务 AddOn 平台监控平台集群管理理应用用管理理多租户项目目管理理中间件云产品集成 marketplace 平台核心心能力力力 CI/CD 大大数据 Ops 流水水线异构调度引擎 dcos kubernetes Spark 阿里里里云 / AWS / Azure / 专有云 Flink Edas

7. 为什什么需要引入入异构调度一一个 Application PaaS 引擎这一一层架构设计？

8. 异构调度引擎重点解决的两大大核心心问题屏蔽底层的具体物理理集群实现以应用用为中心心的部署定义

9. 异构调度引擎实现了了对底层集群的屏蔽和抽象屏蔽底层集群：DC/OS、 Kubernetes、edas、spark、flink 支支持多集群调度，比比如：开发测试集群，生生产集群

10. 异构调度引擎定义了了以应用用为中心心的自自动化部署立立足足开发者，而而不不是运维以为应用用为中心心，而而不不是基础设施实现真正的 DevOps

11. 首首先，看看 Kubernetes 部署一一个简单的 Web 应用用 ingress deployment service endpoint request / limit Statefulset Operator PV / PVC

12. Kubernetes 的例例子子 F deployment.yaml F ingress.yaml B deployment.yaml 太复杂 B service.yaml MySQL master statefulset.yaml MySQL slave statefulset.yaml MySQL master service.yaml MySQL slave service.yaml

13. 我们认为应用用部署应该的样子子需要多少 CPU 需要多少内存服务依赖关系对外公开访问需要一一个数据库 MySQL 服务要部署几几个实例例

14. 用用代码定义一一个应用用的部署

15. 遵循设计理理念： Infrastructure as code 用用代码的方方式明确定义应用用的基础设施和架构，这样做的好处是研发可控、持续沉淀、可复制迁移 CPU 内存服务依赖环境变量量基础软件服务，包括数据库，缓存，中间件，云服务等等等

16. 无无状态服务有状态服务短时任务成本管理理目目录

17. 无无状态服务如图，部署 MySQL -> 后端服务 B -> 前端服务 F -> 对外公开访问 deployment MySQL 访问信息通过环境变量量配置给服务 B；服务 B 的访问地址通过环境变量量配置给服务 F。无无状态服务，直接采用用 kuberntes deployment + service 部署容器器技术天生生就对无无状态应用用部署友好，出生生的一一天就是为无无状态而而生生的 deployment

18. 无无状态服务有状态服务短时任务成本管理理目目录

19. 有状态服务：基于 StatefulSet 管理理（old）在异构调度引擎里里里，我们基于 StatefulSet 去实现了了每一一款有状态服务的部署，直接将自自动化部署逻辑内置到了了调度引擎里里里。问题： 1、数据库和中间件这类有状态服务实在太多了了，即使是常用用的，也非非常不不少。 2、有状态服务的架构，部署方方式完全没有一一个通用用的解决方方案

20. 有状态服务：基于 Operator 管理理（new） Operator 让我们有机会去定制化的、针对性的管理理有状态服务社区的基础软件，已经开始出现大大量量的 Operator 可供使用用；开源共享共建是基础软件的趋势，没必要自自己己从 0 开发使用用社区、回馈社区、共建社区，然后再做一一些集成创新

21. 有状态服务：我们使用用的 Operator 我们的对接层调度器器，逻辑可以设计得更更简单了了，只需要通过 kubernetes api 去操作对应的 operator 即可每一一个有状态服务的运维管理理逻辑都可以独立立维护

22. 有状态服务：存储管理理存储计算分离的架构实在太好了了作为小小公司，小小团队，我们是否应该采用用远程存储？ glusterfs、ceph 我们在生生产环境并不不采用用远程存储来管理理有状态服务的数据，除非非有商业存储

23. 无无状态服务有状态服务短时任务成本管理理目目录

24. 短时任务 Job 用用来完成一一些一一次性的短时任务 cron job 完成短时任务的定时执行行行 broadcast job (Openkruise)

25. 无无状态服务有状态服务短时任务成本管理理目目录

26. 资源成本管理理我们通过超卖来提高高资源的利利用用率，降低成本 limit = request request = request / 超卖比比（超卖比比 > 1）要非非常注意控制超卖比比内存超卖比比 cpu 更更加危险，生生产环境我们已经放弃内存超卖了了

27. 流水水线，平台不不可或缺的一一个 Application PaaS 一一个核心心能力力力

28. 流水水线 (Pipeline) Pipeline 服务架设在了了异构调度器器之上，由异构调度器器提供 JOB 等基础能力力力接口口给 Pipeline 使用用每一一条流水水线并不不是严格线性串串联的，我们采用用的是 DAG 串串联，所以从架构上可以看出，接收到一一个执行行行请求后，首首先做的是 DAG 解析每一一个 job 里里里，内置了了一一个 agent 程序，它是 job 容器器的第一一个进程，由它来运行行行具体的 action 任务; agent 帮我们解决了了上下文文传递，存储屏蔽等

29. 流水水线 - CI/CD 支支持 Git，可以自自由扩展其他代码库编译、打包、单元测试、代码质量量扫描、做 docker 镜像、自自动发布部署

30. 流水水线 - 数据应用用数据离线计算有着较强的流水水线模式，我们将数据的 ETL 过程开发成了了对应的 Action，最终整个数据 ETL 作为一一个 pipeline 运行行行 spark 任务由 action job 提交给 spark 运行行行； spark 集群也是运行行行在 kubernetes 里里里面面。

31. 流水水线 - Ops 集群机器器节点的扩缩容一一键从阿里里里云购买资源，并创建集群定时巡检集群状态以及机器器节点 …

32. 以流水水线和异构应用用管理理一一个 Application 为核心心，打造企业数字化 PaaS 平台产品

33. 数字化平台三大大体系基于容器器服务的多云管理理以微服务为核心心的研发支支撑体系数据治理理及计算平台

34. 企业数字化平台 - Dice

35. 产品架构图解决方案业务产品业务中台 + 数据中台领域能力用户中心会员中心营销中心物流中心采购中心产品中心仓储中心商家中心低代码平台设计系统 DevOps 研发体系驱动模型会员领域营销领域物流领域采购领域产品领域仓储领域商家领域 … 同人模型需求模型价值模型标签工厂推荐引擎诚信模型开放服务 … 分析引擎/AI 微服务治理流程引擎平台应用网关用户画像规则引擎平台数据开发基础服务数据库用户领域 … 应用治理应用开发技术中台领域模型数据抽取缓存搜索引擎分库分表分布式消息事务队列配置中心数据治理任务开发 … 数据采集数据集成模型开发数据质量主数据管理数据地图数据标准异构调度引擎基础实施服务任务批处理引擎混合云集群实时计算引擎

36. 产品展示

37. THANKS Thanks 2019