“并联”双塔模型 | 你还不知道怎么玩吗！

“并联” 双塔模型 | 你还不知道怎么玩吗！

摘要

双塔模型广泛应用于推荐、搜索、广告等多个领域的召回和排序阶段，模型结构可分为user、item 两个塔，先在塔内构建网络结构生成 user、item 两个向量表示，然后通过两个向量的内积或者 cosine 来拟合 label 进行训练。在线 serving 阶段由于 item 向量可以预先计算好，所以每次请求只需计算一次 user 向量，多次内积或者 cosine 即可，从而性能非常强，但由于存在某些缺点，双塔模型的效果也受到限制：1、特征受限，无法使用交叉特征；2、模型结构受限，user 和 item 分开构建，最后只通过一次内积来交互，不利于 user-item 交互的学习。

在 QQ 浏览器小说推荐场景中，我们在召回和粗排阶段都使用了双塔模型，并在双塔模型结构上进行了探索和创新来提升模型的效果，主要创新思路在于：1、尝试通过＂并联＂多个双塔结构（MLP、DCN、FM、FFM、CIN）增加双塔模型的＂宽度＂来缓解双塔内积的瓶颈从而提升效果；2、对＂并联＂的多个双塔引入 LR 进行带权融合，LR 权重最终融入到 userembedding 中，使得最终的模型仍然保持的内积形式。这些尝试在小说推荐场景都取得了不错的收益。