腾讯课堂面向协作的 DevOps 流程设计与实践

1. 腾讯课堂面向协作的 DevOps流程设计与实践董峤术 / 腾讯课堂研发效能负责人

2.

3. 平台功能丰富，逻辑复杂，历史悠久电商平台：商品、机构、营销、支付结算、客服、物流、数据开放协作：开放平台、ToG业务、ToB业务、私有化等教学平台：直播房间、考勤签到、考试批改、录播学习、教务教学 7年历史：总服务1000+，3种语言，5种RPC 框架

4. 外部环境不断变化，竞争加剧，快速迭代是成功的关键峰值上课人数周增⻓趋势疫情：在线教育和居家学习异常火热，快速政策：双减下在线K12培训快速降温；职业教育增⻓到500W PCU、4亿用户越来越受国家重视

5. 研发节奏，理想 VS 现实需求需求建设公共服务和中台，提高复用程度打仗通过云原生降低业务的运营成本打仗 VS 打仗提高单兵作战能力，可以更快的研发和交付按部就班的按照规划进行迭代提前预测产品动向，进行前置布局和预研休整 DevOps：面向协作的休整时间时间理想的迭代节奏设计，提高团战效率时间 …… 实际的迭代节奏（3月大促、7月大促、双11、双12、突发的产品机会等）

6. 更高效和大规模地协作，降低交付周期耗时、成本成本、资源浪费快速上升（理解成本、交流成本…）人员素养要求上升（需求拆解、方案细化、沟通协作）交付周期反而变⻓能否交付周期持续下降？参与人员

7. 如何更高效地协作理解分工交流落地一致的认知和操作合理细致的工作拆解顺畅有效的沟通交流切实有力的落地执行需求评审、技术方案、开发、联调、测试、发布、运营，均需要更好的理解、分工、交流、落地

8. 更低的理解成本理解一致的认知和操作分工交流落地合理细致的工作拆解顺畅有效的沟通交流切实有力的落地执行

9. 痛点：DevOps工具繁杂，理解和上手成本高工蜂CI\CD 天机阁 “hao123 网址导航” （“高级网址收藏工程师”、“浏览器工程师”）

10. 统一化：DevOps全流程统一模块原有当前 CI 蓝盾、Orange-CI，工蜂CI Coding CI CD 织云、TKEx、123 Coding CD 联调自定义发包、tolstory Coding ApiOps 自动化测试星海、QTA、同源测试平台 Coding 持续测试日志 ELK、鹰眼、智研 Coding CLS 链路追踪 Jeager、SkyWalking、天机阁 Coding Tapm 监控 Monitor、007、自建promthues Coding TCCM 配置 Apollo、七彩石、k8s configmap Coding 配置中心

11. 统一化：云原生DevOps架构需求交付、项目协同、用户价值、工程师文化研发效能自动化韧性可观测服务化 DevOps 持续集成和持续交付开发域代码管理开发环境脚手架资源效能弹性伸缩资源利用率可调度构建域流水线构建环境打包工具测试域提测⻔禁多环境同源测试部署域编排管理灰度控制文档管理运营域监控指标系统日志部署回滚链路追踪代码分析制品管理 Mock 变更监控可视化看板协议管理安全扫描用例管理审批周知混沌工程依赖管理制品分析性能测试自动校验告警治理度量数据 Coding一站式管理+腾讯云 CLI工具 IDE插件流水线发布系统流程管理数据管理上报通道数据看板

12. 痛点：缺乏对研发全流程的“约束模式” 0 1 02 03 04 构建测试部署运营通过流水线模板对CI环节进行标准化缺失！缺失！测试环境的统一管理，测试路由和网关配置，自动换测试用例和报告对于部署的环境的配置缺失标准化（sidecar、 prestop、健康检查等）缺失！对于运营流程缺失标准化（logging、tracing、 metrics）

13. 标准化：应用管理，对研发全流程的“约束模式” 对整个研发流程进行标准化

14. 痛点：配置不透明且分散在各地编译构建等过程在CI系统部署的配置在发布系统上监控的配置在可观测系统上

15. 透明化且以代码为中心—— XAC+同源 UT\IT makefile\dockerfile 将build、test、image等过程通用makefile描述，屏蔽将单元测试、接口测试的测试代码统一管理服务之间编译、构建、测试、打包等差异 .ci.yml .grafana.yml 通过coding的pipeline as code的能力，对makefile提供将监控视图的配置，告警阈值等配置沉淀到代码中的指令进行编排 .cd.yml 将sidecar依赖、健康检查配置、前后置等待时间等，通过CD.yml进行描述 https://git.woa.com/svr1.git 随业务代码在一个repo中 readme等信息将服务的架构图、文档、服务负责人、CR负责人等，通过readme等方式沉淀在代码中

16. Xac实践：非业务代码也是代码，也要抽象、分层、CR、规范……

17. 总结 1、理解 • • • 统一化标准化透明化 3、交流 2、分工 4、落地

18. 更细的工作项拆分理解一致的认知和操作分工合理细致的工作拆解交流落地顺畅有效的沟通交流切实有力的落地执行

19. 需求拆解 • 领域划分 • 业务流程 • 紧急程度 • 实现难度 • 客户端\平台 • 价值 • 用户⻆色 • 团队情况有清晰的工作拆分，同时有阶段性能达成的小目标，这样团队会更有目标感和一定的成就感，这样即便是试错，也不会气馁

20. 领域驱动设计（分层、解耦、降低复杂度）

21. 领域拆分实践（业务架构-系统架构-代码实现）代码实现

22. 领域拆分实践（系统架构）

23. 领域拆分实践（代码实现）

24. 总结 1、理解 • • • 统一化标准化透明化 3、交流 2、分工 • • 需求拆解领域驱动设计 4、落地

25. 更顺畅的沟通交流理解分工交流落地一致的认知和操作合理细致的工作拆解顺畅有效的沟通交流切实有力的落地执行

26. 主干开发：开发人员之间的交流更顺畅（多地协同）单主干+TAG • • • • 围绕master分支进行版本迭代，无特性分支个人开发分支进行开发发布后，基于master发布节点，打releaser tag talk is cheap, show me the code 自动化测试 Code Review • • • CR左移，小批量，不要一次性review过量代码每个coversation必须解决一个完整功能点提交一次 MR • • • 代码合入前提是每个case 必须通过测试代码也是代码，也要 CR 时间和覆盖率灵活调整及时对⻬ • • 及时高效

27. APIOps：降低各端人员的沟通成本前后端分离的架构，API沟通影响效率规范和沉淀接口协议，更方便的进行前后端沟通

28. 测试左移：降低和测试人员的沟通成本

29. GitOps：降低和工具的交流成本流程通过git进行管理信息都通过git进行沉淀

30. kanban：项目进展和⻛险通过敏捷看板，将进度可视化，培养团队的大局观，降低开发过程中的进度的不透明度

31. 总结 3、交流 • • • • • 1、理解 • • • 统一化标准化透明化 2、分工 • • 需求拆解领域驱动设计主干开发（相同开发岗位之间） APIOps（前端和后端）测试左移（开发和测试） GitOps（开发和工具）看板（开发和PM） 4、落地

32. 更有效的落地执行理解分工交流落地一致的认知和操作合理细致的工作拆解顺畅有效的沟通交流切实有力的落地执行

33. 度量，掌握全局情况

34. ChatOps，高效推进 1、服务维度拉小群自动拉群小群详情大群公示单据沉淀组⻓群度量 2、展示信息⻬全(耗时错误码、个数等) 3、联动其他系统，可以修改tapd状态，跳转日志系统等 5、Leader群汇总每个组的解决情况 4、大群展示会解决的告警和负责人 6、TAPD沉淀解决记录

35. 总结 3、交流 • • • • • 1、理解 • • • 统一化标准化透明化主干开发（相同开发岗位之间） APIOps（前端和后端）测试左移（开发和测试） GitOps（开发和工具）看板（开发和PM） 2、分工 • • 需求拆解领域驱动设计 4、落地 • • 度量 ChatOps

36.

37.