大模型加持淘宝搜索体验巡查，异常发现精度达93%

大模型加持淘宝搜索体验巡查，异常发现精度达 93%

摘要

淘宝搜索的模型架构，经过多年持续不断的优化，已处于较为成熟的水平。然而，用户在搜索过程中偶尔会遇到体验不佳的问题。为了更好满足用户的购物体验，淘宝需要具备主动发现线上体验问题的能力。

淘天集团算法技术团队借助反作弊业务常用的异常检测思想，并结合AI大语言模型，将其应用在搜索体验巡查场景中，设计了ADLLM (Anomaly Detection/Adversial LLM) 框架。该框架可对搜索首页结果进行统一巡查，其相关性、丰富性、异常Query和商卡一致性的异常发现能力精度可达到93%以上。

该框架在算法上做到异常检测(Anomaly Detection)，针对搜索大盘的真实日志和对抗模拟等方式，批量发现搜索结果“挂万漏一”的异常Case；同时在业务上做到对抗性(Adversial)，对挖掘到的异常Case进行可解释性归类，并对搜索负向体验问题进行监控；同时为正向算法团队提供异常样本，协助学习更加鲁棒的模型。