IoT微服务容器化之旅

1. IoT微服务容器化之旅黄川 2019-12-28

2. 目录 1 公司简介 2 K8S核心概念 3 业务迁移实践 4 未来

3. 1 公司简介

4. G7 & 大数据全球最大物流车队综合服务平台 G7基于行业独有的物联网技术平台，向大型 130 万+ 7 万+ 25 万+ 车辆客户日均运输线路 7.8 千万+ 1 .3亿公里+ 6.8T+ / 天日均事件日均里程日均数据量 21 亿+ 40个百分点 1.2万+ 平台月结算金额事故赔付率下降油气站点数物流企业和数以万计的车队提供车队综合管理与服务解决方案，覆盖安全、结算、金融、智能装备等车队运营全流程。 43 亿+ 累计发放贷款数

5. API 日调用量 6200 万 G7S 管车 APP 小雪平台

6.

7. 2 K8S核心概念

8. 物理机时代虚拟机时代

9. Service对外服务网络模型同一组pod，对外提供服务的流量入口，提供服务注册发现、负载均衡的能力 ClusterIP (ipvs) pod NodePort (kube-proxy) pod pod pod SLB NodePort (kube-proxy) pod pod NodePort (kube-proxy) pod pod

10. 网络模型虚拟机、容器网络直接互通，提升网络性能解决非K8S微服务体系中的注册机制中节点注册信息问题 Router 注册路由 VSwitch VSwitch calicoif vm1 vm2 RDS1 calicoif pod1 vm1 eth0 calicoif pod2 calicoif pod3

11. 3 业务迁移实践

12. 设备终端接入云平台云平台 MQ MQ/HTTP/RPC 大多基于TCP/UDP协议，由设备厂商自定义接入平台终端到云平台协议进行解析 TCP/UDP 云平台下发消息

13. 分支模型分支自动部署类型 develop 是持久 release/x.x.x 是临时 master 否持久 hotfix/x.x.x 是临时

14. Project

15. GitLab-CI示例 stages: - test - build - ship - deploy cache: untracked: true key: ${CI_BUILD_REF}_${CI_BUILD_REF_NAME} job_master_build: stage: build image: ${G7PAY_DOCKER_REGISTRY}/${BUILDER_GOLANG} environment: name: test script: - project run build only: - master job_master_deploy: stage: deploy image: ${G7PAY_DOCKER_REGISTRY}/${BUILDER_RANCHER} environment: name: test script: - project deploy --env ${CI_ENVIRONMENT_NAME} only: - master

16. 容器中的微服务 Spring Cloud Eureka Container Container sidecar ServiceB(PHP) ServiceA(Java)

17. 容器化JVM参数内存实际大小 = 堆内存 + 线程数 * 线程栈大小 + 永久代 + 堆外内存 2G + 1000 * 256K + 256M + (~2G) = 2.5G~4.5G JVM 对容器的支持： JDK8 u131+/jdk9 -XX:+UnlockExperimentalVMOptions -XX:+UseCGroupMemoryLimitForHeap JDK11 -XX:+UseContainerSupport

18. 开发规范

19. 单元测试规范

20. 日志等级说明 debug 程序开发调试 info 记录一些日志信息统一日志采集 notice 需要注意（应用访问日志）应用保障日志通过stdout、stderr输出 warning 警告（有可能出现程序故障）统一日志采集配置模板 error 致命错误（程序已经无法正常运行） critical 危险的错误（影响关键业务） alert 必须报警（报警） emergency 紧急处理（报警必须及时处理）

21. 监控业务监控日志监控应用性能监控 Prometheus、 ELK 天枢（Cat） Pod Kubernetes Node（VM/物理机） Prometheus

22. 应用性能监控

23. 平台服务架构油感设备视频设备协议解析中心消息交互中心升级部署中心消息转发中心里程数据打卡数据便携设备 ADAS G7盒子 Eaconn IOT容器化接入平台油耗数据 EMS Rancher容器管理平台 FMS 天眼设备 TQ设备清研设备其他设备轨迹数据 ....

24. 容器接入原则 • 基础镜像统一由运维提供，采用多阶段构建减少镜像大小 • 按照产品划分命名空间，命名空间指定配额限制 • 产品下具体应用放入对应命名空间 • 应用配置具体的request、limit进行资源限制，保障集群服务可用性 • 应用推荐配置liveness、readness用于保障服务流量可用性 • 每个产品使用独立 slb、独立ingress controller，保障产品流量之间隔离

25. 镜像多阶段构建

26. 避免混用SLB SLB 192.168.20.101 xxx.huoyunren.com/app2 xxx.huoyunren.com/app1 K8S APP2 APP1 POD POD ECS1 ECS2

27. 4 未来

28. 1、完成对Rancher容器平台到K8S的迁移 2、更完善的CI/CD工具 3、完善以应用维度的监控系统，应用健康状况 4、支持更多样化的日志采集、统一日志规范、及完善的链路跟踪体系

29. The End