大促压测保障提质增效实践

1. 大促压测保障提质增效实践周辰晨 2021.12.04 ECUG Meetup 第 3 期

2. 讲师简介周辰晨曾服务于京东、平安等互联网公司，曾负责亚洲一号性能测试工作，目前在近百人测试团队担任测试委员会负责人，负责全链路性能测试、测试效能以及测试团队职级管理工作。拉勾教育app《说透性能测试》专栏作者，付费订阅人数10000+ ECUG Meetup 第 3 期

3. 01 压测的痛点问题 C ECUG Meetup 第 3 期目录 02 解决之道 03 线上全链路压测体系 04 提质增效的核心

4. 压测有哪些痛点？目标不合理组织难 • 一句话需求 • 没有共同的价值目标 • 认知的不统一 • 部门墙 • 压测人员的组织 • 监控不健全监控不健全 • 缺少系统性监控结果不真实 • 代表当前环境的测试结果 • 不具备深入追踪能力 • 推导不靠谱 • 用户访问数据模型 ECUG Meetup 第 3 期

5. 性能测试有哪些痛点？某宝之痛“2013年以前的双十一要花6个月准备战场，2个月打扫战场” 2012年 6月-10月 2012年 11月11日零点高峰用户被重复付款近三百人商品超卖优惠券不生效复盘线下性能测试环境结论不靠谱集合各个BU 集中式论证集中式开发 5个月+ 专项性能测试 ECUG Meetup 第 3 期

6. 性能测试有哪些痛点？ “某宝之痛”告诉我们什么？真的痛真的难真组织 • 投入产出的极度不平衡 • 线下压测结论并不靠谱 • 由上而下的组织 • 客户不信任 • 线上压测行业空白 • 由下而上的驱动 • 行业茶余饭后的谈资 • 风险系数极高，内部不统一 • 调动各bu资源 ECUG Meetup 第 3 期

7. 解决之道器：工具器如何快速发起压力如何避免压测客户端瓶颈如何进行压测协作术法术：策略测试分析场景梳理执行策略法：组织和沟通道人和事道：认知文化开展有效压测的前提本轮压测的目的是什么 ECUG Meetup 第 3 期

8. 解决之道：道和法团队的认知以及担当业务的必要性 • 故障导致品牌和经济损失 • 容量收缩带来成本收益业务和技术的平衡 • 团队认知的高度 • 业务价值是公司使命 • 敢于承担风险的勇气 • 技术追求是个人使命 • 体验与营收存在关联法->组织和沟通角色和资源 • Owner的职责 • 协同的资源 ECUG Meetup 第 3 期流程规划管理 • 项目阶段定义 • 项目时间定义

9. 解决之道：术流量模型数据分析某些做法套用模版根据变更改接口描述时间和人力安排 ECUG Meetup 第 3 期部署监控

10. 案例分析为什么你做了线上全链路压测依然不能对结果负责？小明经过数轮通宵压测以及团队调优，压测的Tps达到了12000，而在实际大促过程中 Tps5000时网站就宕机了，你会从哪些角度进行复盘？ ECUG Meetup 第 3 期

11. 术：流量模型演进初期成熟期成长期预期 300000000 250000000 首页 200000000 150000000 商品详情 100000000 接口M_A 50000000 marketing 服务流程压测二八原则支付支付结果订单详情 ECUG Meetup 第 3 期 • • • 流量复制更真实场景多元化 • • 痛点数据安全 • 数据加工接口M_B 加购物车 0 shopcart 服务接口S_A gateway order服务接口A_B search 服务 promotio n服务

12. 术：数据分析 04 02 01 增量数据分析增量数据的激增基础数据分析没有铺垫数据的影响？冷热数据分析 03 参数化数据分析数据的来源以电商业务背景为例，数据还需要分析什么？铺底会员数据如何分布？购物车数量分布？下单商品类型？ ECUG Meetup 第 3 期对性能测试结果造成的实际影响

13. 术：部署结构分析为什么要做部署分析？这张图够了吗？关键要素服务器配置部署在哪里节点数量 ECUG Meetup 第 3 期

14. 术：监控策略硬件监控 cpu、内存、磁盘、网络 APM 应用层监控接口调用量、时延、耗时链路分析业务监控业务报错信息，下单数、支付数、履约率、GMV等系统健康值综合性指标，根据系统的报错，如日志，状态码及结合时延等给出的分数值，方便第一时间了解系统运行情况。 ECUG Meetup 第 3 期

15. 术：微服务应用层监控演进早期 JVM监控发展期接口链路聚合成熟期客户端到服务端追踪到单请求 ECUG Meetup 第 3 期

16. 注意事项 ECUG Meetup 第 3 期网关层中间件数据层流量入口极其危险的层面性能问题的高频区迭代慢，容易忽略连接数，流量统计，可用性结合业务寻找最优解流量高，寻找相对损耗注意弹性扩容的影响，牵一发动全身理论要结合实践

17. 术：硬件资源监控分层物理机层 A ECUG Meetup 第 3 期虚机层 B 容器层 C

18. 如何开展体系化压测压测成熟度演进 !"#$% !'()* ECUG Meetup 第 3 期 !"()* !"&$%

19. 线上压测技术实现思路压力机压测系统 1 压测流量 Agent 正式流量网关缓存写入正式key 业务应用正式Topic RocketM Q 影子key 1 挡板 Agent 影子Topic 业务应用 4 2 第三方系统 3 2 数据库白名单写入正式表影子表不做系统改造能进行线上压测吗？非常熟悉业务 ECUG Meetup 第 3 期用户组设置标签能够穿透和记录理清库表日志等各类数据清理还原

20. 组织和技术双驱动业务测试研发促销规则业务基线达标运维容量达标灾备演练大促弹性扩缩容 15.5 ECUG Meetup 第 3 期

21. 新的问题过份依赖线上全链路压测导致内耗过高，能效降低。排查逻辑复杂度 ECUG Meetup 第 3 期时间复杂度流程复杂度

22. 压测的左移和右移左移到什么阶段? 开发完成自测业务阶段测试右移:大促值班干什么? ECUG Meetup 第 3 期左移的手段基线的建立流程固化平台赋能右移:大促数据分析实时监控业务数据沉淀体验问题技术数据沉淀内部报错群测试模型优化

23. 平台化固化自动化工具化平台化价值体现输出稳定可靠想清楚 ECUG Meetup 第 3 期驱动力技术栈收集问题 (需求) 认同人员

24. Q&A 个人微信 ECUG Meetup 第 3 期公众号

25. 谢谢 ECUG Meetup 第 3 期