QueryFormer：基于 Query 增强的淘宝主搜 CTR 序列—特征联合建模与 Scaling 实践

QueryFormer：基于 Query 增强的淘宝主搜 CTR 序列—特征联合建模与 Scaling 实践

摘要

淘宝主搜团队提出QueryFormer，将特征、行为与商品统一为Token，通过Cross Attention直接处理千级用户行为序列，并增强Attention的Query侧。模型在同一主干中完成信息选择、序列建模与高阶交互，离线AUC提升0.45pt，搜索金额增长0.42%，推理效率从10%提升至27%，现已全量上线。