大数据集群在 Kubernetes 上服务化实践

1.

2.

3. 介绍 • 负责同程旅行大数据集群服务化建设 • TiDB Operator Committer. • Prometheus Operator , Chaos Mesh ,Volcano Contributor.

4. 议程 • 什么是大数据集群服务化 • 小集群模式的产生和容器的选择 • 上云的过程中遇到的痛点 • 大数据服务上云攻略 • 现状和未来规划

5. 大数据集群服务化

6. 小集群模式的产生和容器的选择

7. 小集群模式的产生

8. 为什么要用容器

9. 上云的过程中遇到的痛点

10. 运维方式的改变

11. 应用的复杂性

12. 痛点

13. 大数据上云的攻略

14. 计算存储使用容器的区别

15. 容器状态管理

16. 容器组管理

17. HDFS 部署

18. Hbase 平滑升级

19. 资源池

20. 存储资源池-机器故障

21. 存储资源池-替换机器

22. 存储资源池-下线机器

23. 资源异构 • 动态计算CPU内存 • 动态生成磁盘目录配置 • 生成 HostPath Volume 配置

24. 服务依赖管理

25. 监控

26. 日志

27. 服务架构

28. 现状和未来规划

29. 现状 • 大数据组件服务化全覆盖 • 400+ 集群服务在云舱平台上，底层集群可触达 • 资源利用率提升显著 • 在离线混部，打通在离线资源池

30. 未来规划 • 计算任务Native on Kubernetes • 大数据运维全流程平台化 • 集群服务开箱即用 • 让混沌工程测试成为一种常态 • 智能化混部

31.