极致diff测试-铺设高效测试之路

1.

2.

3.

4. O1 业务测试痛点 O2 O3 Diff如何解决业 Diff在搜索质量保障务测试痛点中的拓展与探索

5. 业务测试痛点

6. 360搜索简介海量数据逻辑复杂系统庞大迭代频繁

7. 360搜索质量保证体系基础自动化体系工具平台化线上监控&数据挖掘持续集成；项目管理平台.；全链路业务监控平台；接口自动化；性能自动化平台；数据分析平台；性能自动化；接口功能自动化平台；前端页面功能自动化；前端打点自动化；

8. 360搜索测试中的难点：前端样式繁多

9. 360搜索测试中的难点：接口层海量数据接口上万个字段验证底层海量数据正确性链路中数十个服务回归覆盖率运行效率 Diff

10. Diff如何解决业务测试痛点 · 样式差异diff · 接口差异diff

11. 前端样式差异diff

12. 前端样式差异diff：优势前端回归类型：圆角化智能摘要类型100+ box类型500+ 手工测试自动化回归前端样式diff 抽样测试；编码成本高；功能覆盖率覆盖率低；漏测易导致线上事故；耗时久，回归效率较低；可达100%；保证服务正确性；

13. 前端样式差异diff：流程

14. 前端样式差异diff：重点详解获得截图 • 通过selenium无头浏览器截图，确保网页完全加载，通过JS像素点逐步加载来实现 • 提高diff效率，减少diff误差，仅对结果展示指定区域截图

15. 前端样式差异diff：重点详解 SSIM:图像压缩彩色图（三通道）灰度图（单通道）二值图（单通道二值）

16. 前端样式差异diff：重点详解 SSIM:图像对比亮度对比函数对比度对比函数结构对比函数

17. 前端样式差异diff：实例展示

18. 前端样式差异diff：平台化结果展示

19. 前端样式差异diff：问题一眼并找不到哪里有diff

20. 前端样式差异diff：优化

21. 前端样式差异diff：总结前端样式迭代底层数据优化批量回归case，覆盖可达100% 大型迭代项目一键回归数据前端技术升级 · · ·

22. 接口差异diff

23. 接口差异diff：应用场景架构升级机器迁移涉及服务多服务接口多接口参数多底层海量数据公共依赖升级策略迭代 · · · 整个搜索涉及服每个服务涉及每个接口有多务模块数十个数十个接口个参数逻辑以上笛卡尔乘积结果，对应超多回归项

24. 接口差异diff：流程介绍

25. 接口差异diff：步骤介绍 Json diff：获得全部diff数据 1）字段缺失 2）字段值不一致 3）字段新增

26. 接口差异diff：步骤介绍 Json diff：diff结果整理 1）剔除白名单的diff内容 2）提取关心节点的diff内容

27. 接口差异diff：问题发现&优化1 Q：diff不稳定，排查未发现diff原因 diff优化：去除噪点 1）获取全部diff数据 2）相同环境二次diff，作为噪点 3）相减得到最终diff结果 New 对比diff 最后diff Base diff去噪 Base

28. 接口差异diff：问题发现&优化2 Q：diff呈块状，且排查发现只是位置有变化，内容相同 Diff优化：识别结果rank进行diff 1）按格式进行解析diff 2）遍历对比，获取相同结果的排序位置

29. 接口差异diff：问题发现&优化2 Q：diff呈块状，且排查发现只是位置有变化，内容相同 Diff优化：识别结果rank进行diff 1）按格式进行解析diff 2）遍历对比，获取相同结果的排序位置

30. 接口差异diff：平台化展示

31. 接口差异diff：总结

32. Diff在搜索质量中的拓展与探索

33. 应用1：Code diff + review board：问题发现前置：提高提测质量 + package diff：package大小；配置文件list；配置文件内容diff

34. 应用2：特征逆序率diff 预期： baseRank1(feature)>Rank2(feature) 逆序率应用： + new &base环境逆序率diff，确定服务稳定性&正确性 + 热门query-badcase优化特征值计算流程

35. 应用3：集群召回一致性监控接口diff拓展应用：线上rank diff质量监控

36. 探索1：模型排序过程debug 创新点深入挖掘rank diff如何产生：排序过程中的每一个决策树的得分进行一次diff展示，帮助策略优化，提效diff排查

37. 探索2：NDCG得分diff 注： nDCG=DCG/IDCG； IDCG：人工标注的最佳排序 DCG：位置加权后的排序得分 nDCG：归一化得分，可以做分支对比而不需要考虑每次召回结果个数不同的问题

38. diff总结

39. 总结

40. 格局打开拓宽思路万物皆可diff

41. 360技术 THANKS 360质量效能