腾讯 IMWeb 全栈质量保障实践

1. 腾讯 IMWeb 全栈质量保障实践陈丽杭腾讯高级前端工程师

2.

3. 陈丽杭 / 腾讯高级前端工程师 • 腾讯 IMWeb 团队核心成员 • 负责腾讯在线教育部企鹅辅导业务研发效能腾讯 IMWeb Serverless 腾讯课堂腾讯企鹅辅导腾讯开心鼠

4. • 前端全栈质量保障剖析 • 腾讯 IMWeb 全栈质量保障建设 • 落地全栈质量案例 • 总结 & 展望

5. • 前端全栈质量保障剖析 • 腾讯 IMWeb 全栈质量保障建设 • 落地全栈质量案例 • 总结 & 展望

6. 01.前端全栈质量保障剖析 IMWeb 基于 NodeJS 的全栈架构演进云服务 1. 疫情之下中后台服务需求剧增 2. IaaS、PaaS 减少前端服务开发成本低代码平台 SAS 系统发布系统业务后台效率工具 SSR 前端开发 Node.js开发全栈开发突破边界，⻆色升级，价值提升

7. 01.前端全栈质量保障剖析全栈研发模式升级前端开发工程师 UI 交互后台开发工程师数据运维全栈 = 前后端一体化开发弹性伸缩负载均衡 mobile 网络专线文件存储 Html JS Image 内容加速 … web browser CSS Fonts … • 打破隔离，沟通成本减少 • 职责升级，关注边界增加

8. 01.前端全栈质量保障剖析边界增加带来质量挑战服务质量问题从何入手？ • 接口 500 • 响应异常 • 请求延迟 • 内存泄露 • 性能瓶颈 • 服务雪崩 • CPU 飙升 • 内存暴涨 • IO 堵塞 • 调度故障 • 路由问题 • 入库失败 • 进程保活 • 服务扩容 • 流量切换

9. 01.前端全栈质量保障剖析重新定义前端的质量边界浏览器 1.新技术领域全栈质量建设？ 2.如何提升全栈化运维效率？ + 服务端

10. 01.前端全栈质量保障剖析服务质量问题归类开发规范服务扩容配置变更安全保障持续运营监控指标标准化机器相关的主被调相关测试保障功能逻辑性能测试研发、测试、运维质量体系内存泄露性能瓶颈解决困难发布质量问题定位监控告警体系化的质量建设故障发现滞后监控配置缺失安全隐患灰度发布发布回滚全流程的质量保障

11. 01.前端全栈质量保障剖析前端全栈的质量保障体系建设基础设施基于云原生体系结合 Node 生态编码发布 OPS 打造效率工具降低维护成本自动化测试工具保障 DEV 结合业务现有体系搭建全栈质量体系体系升级监控基于业务DevOps，在每个环节建设质量保障工具和流程

12. • 前端全栈质量保障剖析 • 腾讯 IMWeb 全栈质量保障建设 • 落地全栈质量案例 • 回顾总结 & 展望

13. 02. 腾讯 IMWeb 全栈质量保障建设 IMWeb 全栈质量保障体系开发规范测试保障发布质量监控告警问题定位测试部署运维监控校验功能&性能发布平台 Sentry 代码规范冲突检测单元测试发布评审监控体系响应规范版本管理接口测试服务容灾配置管理日志规范静态检查压力测试多地部署性能分析配置规范规范检测漏洞扫描安全保障扩容缩容开发规范构建交付质量保障线上质量保障持续运营

14. 02. 腾讯 IMWeb 全栈质量保障建设开发规范 • • • • • 测试保障发布质量监控告警问题定位持续运营服务日志欠缺，无从查询问题服务健康监控指标缺乏，故障未发现接口返回码代表什么问题参差不⻬的服务质量 … 一致性的规范保障统一的服务质量响应规范正常响应异常响应返回码管理日志规范进程日志调用日志异常日志服务监控主调监控被调监控响应延迟率特性监控 GC Event loop 延迟 CPU Profile 开发规范如何保证团队业务服务规范的统一？

15. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营基础框架基础建设规范扫描统一升级研发框架统一日志统一主被调统一异常上报组件监控组件处理组件通过接入统一框架和基础规范保证基础监控上报功能的完整

16. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营测试目标响应正确 + 服务质量指标单元测试正确性可用性功能接口测试前端写服务端自动化测试率不足？ • 延迟率 • 性能测试 • 性能达标吞吐量系统业务拨测主动检查线上用例编写维护成本高没有意识服务需要吞吐量测试如何进行服务吞吐量测试

17. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营请求响应请求协议请求头请求参数响应体接口描述文件 json、protobuf 添加响应断言用例测试断言：入参决定出参 CI 上传协议解析用例文件部署接口契约平台接口描述定义接口，打通 CI，降低用例成本

18. 02. 腾讯 IMWeb 全栈质量保障建设打通后台吞吐量压测工具，流程化吞吐量测试开发规范测试保障发布质量监控告警问题定位持续运营 QPS （每秒查询率）流量预估用例 </>测试脚本 </>测试脚本吞吐量输入压力测试测试结果分析响应时⻓最大服务能力成功率压测结果分析性能短板服务性能指标

19. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营测试报表用例输入定时触发拨测任务调度主动发现线上问题输出用例断言结果反馈异常告警 CD 触发定期现网检查，保证服务稳定

20. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营代码自动化测试用例用例统一管理维护部署触发拨测线上保障 CI 覆盖率检查接口测试正确性压测可用性告警

21. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营业务发布流程规范 Code Review CI 编译测试校验发布审批项目发布 • 业务规避 • 发布值守收拢发布权限，流程化规范发布服务发布存在差异点存储层配置如何发布集群机器如何操作发布

22. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营每个服务发布制定详细的发布规范发布前预发布正式环境发布完成发布检查 CI 构建评审单通过代码合并强制 CR 资源部署灰度发布环境清理创建评审单服务发布灰度验证发布群周知发布群周知预发布验证全量发布结束评审单锁定项目发布安全扫描现网验证释放发布环境

23. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营发布工作台统一发布流程

24. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营存储规范自动化部署配置规范 CI 编译&测试 Code Review 发布审批存储权限隔离 SQL 性能服务1 服务2 服务3 机器灰度保证现网访问正常服务告警 … 发布值守指标预警收拢发布权限，流程化规范发布

25. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营故障现象 HTTP 接口 5XX 接口响应错误 1.如何覆盖多层级指标监控现象故障预警流量增⻓ CPU飙升数据库性能 … 监控原因告警修复闭环定位分析 2. 如何提高问题修复效率和质量？ 3. Node 服务性能分析如何下手？

26. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营接口超时率、成功率、慢 HTTP、RPC 发现、流量波动 … 自研上报 SDK 服务异常日志、服务全景、模块版本… 数据清理&存储依赖存储慢查询、Nginx、配置依赖、 DB&Redist&Kafka 负载容器 CPU 使用率、内存使用率、磁盘情况、网卡流量 … 多层级指标监控数据展示指标告警自研监控系统

27. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量 Node 服务完整的监控指标监控告警问题定位持续运营存储监控

28. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营建立工单跟踪问题指标告警创建工单定向分配工单结单定位修复问题消息通知服务与开发人员对应每周报表监控告警 -> 问题处理闭环每日总结

29. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营方案调研工具使用编写代码本地测试代码提交发布部署场景还原专项测试分析定位问题效率有待提升确定问题修复发布下载 profile 文件工具查看验证假设

30. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营用户控制台线上 Node.js应用发送采集指令接收采集指令不停机在线快速定位问题生成性能文件在线分析上传性能文件自研性能分析系统

31. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警 • • 问题定位持续运营在线采集CPU profile 生成火焰图集成Chrome devtools工具分析堆快照 CPU采样堆快照对比

32. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营方案调研工具使用监控指标异常编写代码本地测试生成性能文件代码提交发布部署场景还原专项测试在线分析登录机器下载文件代码调整提高定位效率，解放生产力工具查看验证假设测试发布

33. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位通过上云，降低服务运营成本持续运营运维、数据监控告警、备份灰度、社区支持稳定、安全升级/迁移、故障避让异地多活、审计防 SQL 注入/拖库效率、工具 CI、CD、配置下发、域名故障定位、日志染色成本、性能元/GB/日、HDD/SSD/内存、专线 QPS、分级存储、就近接入水平伸缩，按核心数收费扩展、平台横向扩展、纵向扩容

34. 02. 腾讯 IMWeb 全栈质量保障建设 IMWeb 全栈质量保障体系 DevOps • 开发规范 • 测试保障 • 发布质量 • 监控告警 • 问题定位 • 持续运营系统 CLI 框架&组件规范制定测试开发发布系统 Thanos 接口管理系统 Tolstory 监控系统 IX 代码规范协议请求 Take 测试规范测试系统星海平台基础设施配置管理系统错误码 IMServer-Error-CLI 框架 IMServer-CLI 代码框架 IMSever 运维部署日志请求 IMLog 部署规范错误捕获 Error 监控规范体系升级响应统一 Response 日志规范工具保障

35. • 前端全栈质量保障剖析 • 腾讯 IMWeb 全栈质量保障建设 • 落地全栈质量案例 • 回顾总结 & 展望

36. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营案例 QPS 达不到预期简单服务，8核16G机器，压测结果 5000 QPS

37. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营案例 QPS 达不到预期 CPU使用率达到 95%+

38. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营案例 QPS 达不到预期使用火焰图分析 CPU Profile 这些方法是否运行程序所需

39. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营案例 QPS 达不到预期日志上报相关函数占 47.6 %

40. 02. 腾讯 IMWeb 全栈质量保障建设开发规范测试保障发布质量监控告警问题定位持续运营案例 QPS 达不到预期 50% 5000QPS 7600QPS

41. • 前端全栈质量保障剖析 • 腾讯 IMWeb 全栈质量保障建设 • 落地全栈质量案例 • 回顾总结 & 展望

42. 04. 回顾总结 & 展望开发规范基础设施测试保障发布质量监控告警问题定位编码基于云原生体系结合 Node 生态持续运营发布打造效率工具降低维护成本自动化测试工具保障结合业务现有体系搭建全栈质量体系体系升级监控基于业务DevOps，在每个环节建设质量保障工具和流程

43. 04. 回顾总结 & 展望 Metrics DevOps AIOps NoOps Tracing Logging 智能诊断智能监控智能 APM 智能日志智能事件

44. 不断拓展技术边界就像是前端开发者的使命，在这快速突破中，即便是全栈，对效率与质量探索和实践的原则是不变的

45.