酷家乐搜索服务质量体系分享

1. 酷家乐搜索服务质量量体系分享⻛风⻜飞

2. ⾃我介绍 • • 2012年毕业于中科⼤，加⼊华为；负责会议系统测试 2013年底换到⽆线部门，负责ip层测试 • 2014年底加⼊pptv，负责⼴告、exchange系统测试 • • 2016年9⽉加⼊酷家乐，负责tob组业务测试 2017年初⾄今在Exabrain测试组，建⽴起搜索服务质量闭环体系；⽬前担任算法组、⼤数据组的测试mgr

3. 1. 2. 3. 4. 搜索服务介绍质量量体系介绍数据同步测试搜索debug平台

4. 搜索⼊⼜

5. 整体架构

6. 测试对象

7. ⾯对的问题搜索响应慢搜索效果差搜索延迟接⼜参数复杂，对调⽤⽅不透明；线上问题跟踪困难 5. …… 1. 2. 3. 4. 1 业务逻辑复杂 2 性能要求⾼高 3 数据变更更链路路⻓长

8. 1. 2. 3. 4. 搜索服务介绍质量量体系介绍数据同步测试搜索debug平台

9. 业务测试三⼑流推进单元测试，建⽴立cBTD体系接⼜⾃动化，持续集成结合覆盖率，精准测试

10. cBTD 命名⻛风格：cBTD-exabrain-ads-adapidata • • • • c B T D continue Build Test Deploy 持续构建测试发布jar包

11. 持续集成

12. 覆盖率

13. 性能测试唯快不破耗时⽅法定位性能优化性能回归

14. 耗时⽅法定位

15. 性能优化优化前：redis get和select之间会有⽐较⼤的gap 原因：没有归还连接池，连接池满了后会到超时时间后才归还优化措施： 1. ⽤完后归还连接池 2. 扩⼤连接池

16. 性能回归

17. 效果测试花开两朵类⽬预测搜索diff测试

18. 类⽬预测测试 1. 测试数据集：模型渲染图 + 渲染图中抠图（每个图⽚都有类⽬标签） 2. 结果可视化 3. 持续集成

19. 搜索diff测试 1. 想要更科学、更全⾯地评估线上⽤户⽤到的query,需要选取哪些关键词？如何获取？

20. 搜索diff测试 1. 如何知道哪些query的结果是有变化的？

21. 搜索diff测试 1. 这么多diff，如何才能更⽅便review结果？

22. 质量闭环

23. 1. 2. 3. 4. 搜索服务介绍质量量体系介绍数据同步测试搜索debug平台

24. solr的问题查询solr响应时间过长增量索引缓慢，导致搜索延迟性能太差，⽆法满⾜快速增长的⽤户量运维繁琐

25.

26. 测试重点数据准确性同步实时性⼤批量数据变更的效率稳定性

27. 测试难点测试场景设计测试数据选取实时性测试

28. 分解测试

29. 数据准备

30. 耗时监测 10W数据变更，10分钟内能够全部同步到宽表

31. 上线后遇到的问题线上数据准确性如何感知错误数据如何订正

32. 宽表校验订正平台 http://confluence.qunhequnhe.com/pages/viewpage.action?pageId=42598141

33. 宽表校验订正平台

34. 宽表校验订正平台 1. 全量校验⼏千万级数据，数据源来⾃多个数据库的⼏⼗张不同的表；跑⼀次需要天级时间；严重影响效率，如何解决？

35. 1. 2. 3. 4. 搜索服务介绍质量量体系介绍数据同步测试搜索debug平台

36. 漫长的链路 1. 2. 3. 4. 5. 6. 前端传参错误后端服务器发给搜索的参数错误搜索调⽤openSearch参数错误数据原本的值错误宽表数据错误 openSearch索引错误

37. 搜索debug平台 http://confluence.qunhequnhe.com/pages/viewpage.action?pageId=41452227

38. 搜索debug平台

39. ⼴广告时间酷家乐技术博客知乎专栏

40. THANK YOU