蚂蚁集团在大模型推荐上的算法和应用

蚂蚁集团在大模型推荐上的算法和应用

摘要

本文介绍了蚂蚁集团在推荐系统中应用大模型的方法。大模型的优势在于利用开放知识，生产图谱和语料中不存在的新知识，使知识图谱更加丰富。通过大模型从现有语料中提取并生产适配的知识，可以应用于下游任务如协同过滤、图模型和特征交叉模型。大模型生产知识的核心流程包括确定所需生产的关系类型和生成相应的实体，整个流程基于条件概率。为了实现推荐效果和计算开销的平衡，蚂蚁集团采取了多种策略，如两阶段融入大模型、将大模型与线上模型更紧密融合以及利用蒸馏技术将大模型的推理能力转移到轻量级模型等。