大并发、高仿真、全链路性能测试实践

1.

2.

3.

4. 聊几个话题搜索业务的特点大并发、高仿真、全链路压测实施性能测试提效增质实践-平台化性能测试的一点思考

5. 360搜索引擎业务特点

6. 搜索引擎 PV过链路长流量巨大海量数据需求频繁机器 LVS 百亿过万延时要求高容灾网页系统复杂性能敏感 UCS 亿服务降级团队众多重查分散多活毫秒延时用户端P99不超过1s 基础组件延时毫秒级别请求链路长一次用户搜索请求涉及上百个服务接口请求数据规模大百亿级规模索引数据接口参数复杂不同用户query逻辑流程和延时存在很大差异

7. 搜索测试需求日常业务版本迭代的性能测试技术架构调研类性能测试需求搜索性能测试需求类型基础架构重构升级类性能测试需求新产品和服务性能评估容量规划、容灾演练类性能测试需求

8. 大并发、高仿真、全链路压测实施

9. 360搜索引擎性能测试演化

10. 360搜索性能测试质量的保障手段平台化性能测试质量的保障手段深度监控 • 流量筛选保障手段问题放大 debug类测试需求 • 稳定治理流量来源真实--通过流量录制获取原始流量，筛选具有代表性数据。 • 流量回放平台化--解决效率问题，同时能够拦截一部分调研和流量回放真实--变频模式的发压来保障流量和场景的真实 • 深度监控--基于系统、进程、线程、业务指标多维度监控指标的阈值和趋势分析来发掘性能隐患 • 精准定位-- 通过流量过滤实现场景放大，同时通过各种bpf工具精准定位问题源

11. 流量高保真网卡流量报文拦截录制筛选、染色、乱序离线日志数据抽取代表性数据抽取真异常数据掺入高峰期流量提取数据分片原始线上流量根据不同的测试需求派生出不同数据集

12. 场景高保真原始流量和原始速率扩展流量和扩展速率网卡层流量回放异常流量归集放大

13. 深度监控效果与趋势监控服务端资源监控客户端指标监控宿主机资源、服务进程资源、服务日志 Jmeter 统计的延时、成功率、网络吞吐量浅层中层搜索结果质量、中间件资源、策略模块延时、线程级别资源监控、资源消耗趋势、排行深层

14. 全链路压测的目标未雨绸缪链路瓶颈排查容灾演练容量规划攻防实验测试环境升级

15. 全链路压测过程多方协作流量准备流量数据分片数据染色压测策略规划环境治理场景执行问题提取广告关闭外部接口缓存反扒开放回放场景攻击场景混沌场景链路问题定位链路问题屏蔽容灾效果评价

16. 全链路压测收益

17. 性能测试提效增质实践-平台化

18. 性能测试平台化 1 平台化解决通用问题 2 平台拦截简单需求 3 平台不仅仅是能把压力发起来 4 智能调度压测资源 5 流量存储管理改造 6 压测引擎多样化

19. 性能测试平台化

20. 性能测试流程化

21. 性能测试的一点思考

22. 性能测试的一点思考智能化基于用户行为数据和系统监控数据分析的智能压测数据和场景提取全自动无值守全链路无人值守自动化压测、环境隔离、问题分析

23. 360技术 THANKS 360质量效能