cover_image

淘宝直播技术新范式(二)|新型商品推荐链路带来百万级DAU增量

淘天集团算法技术 淘天集团算法技术 2025年02月06日 09:30
图片

为解决以主播为信息分发主体的传统直播推荐模式短板明显问题,我们提出了一项名为“品带直播”的业务技术方案。该方案依赖直播挂品识别和直播商品推荐两大核心能力。在1月23日发表的《淘宝直播技术新范式(一):实时挂品识别能力实现精准即时的人货匹配》一文中,我们详细讲述了直播挂品识别能力建设。而本文将重点深入分析直播商品推荐能力建设的技术方案。两篇文章可以构建一张清晰完整的“品带直播”技术全景图。


作者:侨锋、斯宸、宇正、当月、苏渡、撷枝、月下


针对“品带直播”这一技术方案,我们面临着多重挑战:首先,需要提升在直播过程中对商品自动识别技术的准确性和覆盖范围。当前的技术在商品识别方面存在精度不足和覆盖有限的问题,这直接影响了用户体验和平台运营效率;其次,平台在精准匹配用户兴趣与直播内容方面也存在瓶颈,这限制了个性化推荐系统的效能发挥。如果说直播挂品识别能力重点解决的是前者,那么直播商品推荐能力则着重解决的是后者。


淘宝首页推荐业务作为淘宝平台核心推荐领域,已成为推动成交和转化的关键阵地。在“品带直播”项目初期,我们借鉴并引入了首页商品推荐的召回与排序技术,并取得了初步业务成效,验证了“品带直播”商业价值。然而经过一段时间,我们发现,首页商品推荐链路在淘宝直播中存在“水土不服”的局限性:

  • 首页商品链路的索引和内容更新时效性大多为天级,无法满足直播业务对高时效性的需求。

  • 直播商品底池基于直播间挂品,首页分发的全网优质商品在分布上存在明显差别,对直播优质品类的召回和排序能力不足。

  • 首页商品在前台展示和用户承接环节中仅考虑商品属性,缺乏对主播的有效建模,从而影响了推荐效果。


基于这些挑战,我们重点从淘宝直播业务出发,开发并优化一套适合淘宝直播的商品推荐系统。该系统加强实时数据处理能力,缩短索引和内容更新的周期;同时,针对直播商品的特点,改进召回和排序算法,以更好地匹配直播优质品类;此外,还引入主播特征建模,综合考虑主播影响力、风格等因素,从而提升整体推荐效果。


下面我们将从全链路实时化升级、直播间全域成交建模以及直播商品异构兴趣融合三个方面详细阐述直播商品推荐能力的建设和改进措施。


图片

在项目推进初期,为了迅速打通品带直的产品和算法链路,我们充分借鉴并迁移了淘宝首页“猜你喜欢”商品推荐模型的召回与排序能力。然而,直播场景对实时性的要求远高于传统的商品推荐,因为直播中的商品上下架频繁,且具有新品多、爆品多、活动多、价格低以及有讲解等特点。


因此,系统需要能够快速响应实时上升的爆品、高价格力商品、实时讲解品以及关注主播开播的商品,并对大量冷启动的新品进行精准推荐。对此,我们的实时化升级主要集中在三个关键方向上。


图片

我们将原有的以商品为中心的索引表和内容表升级为以直播+商品为中心的结构,从而实现对商品和主播的统一召回及预估;同时,将原先每日更新的索引表和内容表升级为实时更新,以应对直播商品频繁上下架及状态动态变化的情况,索引表和内容表更新QPS在量级上数百倍级于主播表。


我们通过与引擎团队、直播技术团队紧密合作,在整个数据链路上进行了工程架构优化,使得更新延迟从最初的分钟级降低至秒级。此外,我们还构建了各环节的实时运维监控体系,确保链路更新的稳定性和可靠性。


图片

鉴于直播商品固有的爆发性特点及其权益的实时变动,加上用户在直播间内兴趣点的快速变化,我们联合数据开发与数据工程团队共同推动建设了一系列新的实时特征,包括但不限于用户-商品交叉特征、用户实时行为序列以及不同时间窗口下直播商品的状态统计特征等。


这些新引入的实时特征有效弥补了商品推荐链路对实时特征覆盖不足的问题,并在接入到模型后带来了线上显著的业务效果。


图片

基于已有的淘宝首页“猜你喜欢”商品推荐能力之上,我们进一步增强了针对直播商品的基础召回功能。具体措施包括但不限于快速部署实时爆品召回路径、基于用户兴趣的实时个性化召回机制以及专门针对正在进行讲解的商品设立独立召回通道等。此举不仅满足了当前业务需求,还大幅拓宽了直播商品推荐召回漏斗口径,提升了后链路天花板。


此外,我们通过对多场景下用户行为序列与主播相关序列进行Trigger实时化改造,进一步提升了用户侧信息获取的时效性;同时,在向量召回模型中引入了包含所有正在直播商品及其对应主播最新特征的内容表,显著增强了模型对直播内容的理解能力和推荐准确性。


图片

为了提升直播间商品的成交转化率,“品带直播”核心目标在于通过精准的商品推荐来促进销售。在“品带直播”项目初期,我们采用了一种快速验证效果的方法,即迁移首页“猜你喜欢”商品推荐系统的CTR(点击率)和CVR(转化率)模型至直播场景中。


然而,基于首页信息流的样本建模,与直播域相比,无论是用户群体特征还是商品池构成上存在显著差异,这种直接迁移的应用方式并未达到预期效果。具体表现为,迁移模型上线后,从后验数据来看,商品卡的曝光和直播间的成交爆品之间存在明显的数据分布差异,尤其是对于SAB级商品及KA(Key Account)主播所推广的产品,其PVR(Purchase View Rate, 购买观看比率)占比明显低于直播整体水位。


为了解决上述问题并优化推荐系统性能,我们提出了两方面的改进措施:一方面,我们需要将迁移模型升级成直播商品卡样本建模的模型,能更好拟合本场景用户兴趣,提高分发效率;另一方面,需要引入其他场景样本来缓解本场景CVR数据稀疏的问题,也能够更准确的建模用户兴趣。


为此,我们特别设计了一个名为“直播间全域成交建模”的解决方案。该方案的核心思想是通过对整个直播平台内所有商品及其相关联的直播间从点击到支付全过程的数据进行全面收集与分析,以此构建一个更为全面且精确的用户兴趣模型。相比传统的单一场景数据来源,这种方法具备以下两大优势:

  • 可以有效缓解商品卡成交label数据稀疏的问题,更准确建模用户购买兴趣;

  • 可以调整模型训练样本和打分分布,使其和直播整体成交分布相对一致,从而让直播SAB、KA主播商品等爆发性商品能够获得对应的曝光流量,带动直播成交转化指标增长。


图片

为了实现全域学习,全域样本的构建至关重要。传统方法通常依赖于离线处理来生成全域样本,但这种方法在面对不同场景下数据特征体系时,会面临特征一致性差、特征对齐困难以及链路维护成本高等问题。


本次直播间全域IPV样本构建项目中,我们通过充分利用全域埋点技术,在TPP容器全场景影子采样能力的基础上,实现了直播间全域IPV样本的高效构建。


具体而言,我们采用了一套完整的流程,包括流量采集、解析、过滤和特征构建,并最终通过XFC特征全埋点的方式,成功获取了高质量的直播间全域IPV样本。


图片

淘宝直播间全域IPV样本构建流程图


图片

从商品和直播间的转化路径分析来看,尽管在不同场景下商品或直播的曝光到点击的展示形式各异,但最终的成交行为通常发生在用户点击进入商品详情页之后。因此,商品和直播间从点击到购买的数据之间存在较多可共享的信息。


然而,值得注意的是,不同场景间因用户心智不同也会导致用户购物表现和数据分布存在明显差异。这就需要在进行全域学习时,合理建模以捕捉各场景样本与全域样本之间的共性和差异性。


此外,全域样本数量远超单个场景样本量,这在联合建模过程中可能会引发大场景数据主导的问题。为解决这一挑战,我们采用了多场景协同训练(Cotrain)模型来实现全域学习。


图片

直播间全域学习模型结构示意图


图片

离线对比基线的首页商品推荐模型,AUC大幅提升0.019pt。精排返回结果的成交hitrate指标提升19.15%。在线实验商品卡转化效率指标显著提升,与此同时主播的流量结构上也有明显改善,引入直播间全域样本后商品中KA主播和超头主播占比实现80%的增长,直播爆品的分发比例由14%进一步提升20%。


图片

在传统商品推荐系统中,精排模型主要依赖于商品属性进行建模,这些属性包括商品静态属性、商品的统计信息以及用户对商品的行为序列等等。然而,在直播商品推荐场景中,单纯依靠商品特征可能无法全面捕捉用户的实际需求。与传统商品推荐不同,直播电商除了考虑商品信息与用户对商品的兴趣之外,还需要关注主播的风格、口碑及粉丝互动等因素,这些因素在用户的购买决策中起着至关重要的作用。


在直播过程中,主播通过生动表现和情感传达,能够显著增强用户的购买意愿。此外,用户与主播之间的实时互动,如询问产品特性、观察使用效果等即时反馈,也在很大程度上进一步促进了用户的消费行为。由此可见,在直播电商领域,主播是用户消费决策不可忽视的因素。为了构建更精准的推荐模型,必须综合考虑商品特征与主播相关特征,以实现更符合˙直播用户心智的直播商品排序模型。


图片

为了更有效地适应直播环境,推动“品带直播”业务的快速增长,算法的核心目标在于实现“人、货、场”的高效匹配,从而优化流量分配效率并满足用户的多样化需求。为此,从最大化信息利用的角度出发,我们首先在用户、商品以及主播/直播间这三个维度上分别设计和构建了特征体系,具体包括用户特征、商品特征、主播/直播间特征,以及用户商品&主播融合序列。


图片

我们对分别对用户、商品以及主播不同维度的特征及其交叉的信息进行融合建模,以精排CTR模型为例,其大致模型结构总结如下:

  • 特征编码层:模型对多维度的特征进行处理,包括商品序列特征、商品侧特征、用户侧特征、主播侧特征及主播序列特征。这些特征首先通过嵌入层(Embedding Layer)进行编码,将其转换为低维稠密向量表示。


  • 行为序列建模:序列特征将利用多头注意力机制(Multi-Head Target Attention, MHTA)来进行学习,捕捉用户在不同粒度上的兴趣表达。其中,查询向量(Query)由商品或主播的关键特征组成,主要是重要的ID类特征。通过MHTA,模型能够生成用户在不同粒度上的兴趣表示。


  • 统一特征表示:将经过注意力机制处理的商品侧和主播侧的兴趣表达与非序列特征进行拼接(Concatenation),分别生成商品粒度和主播粒度下的统一特征表示。


  • 异构兴趣融合:在获得商品侧和主播侧的统一特征表示后,通过同维度变换将这两种不同粒度的特征进行元素级加法融合(Element-wise Addition),生成包含多种粒度信息的异构融合特征。为了进一步提升异构融合特征的信息表达能力,我们利用商品侧的特征对异构融合特征进行自适应深度神经网络(Adaptive DNN)处理。在该方式下,商品侧item信息被转化为latent condition,并与异构融合特征进行深度融合,从而增强模型的整体表达能力。


图片

基于异构兴趣融合的精排CTR模型


图片

离线评估模型AUC绝对提升0.7pt,在线AB实验商品子链路PCTR提升3%,与此同时引入了主播侧特征,主播流量结构进一步改善,头部主播在商品链路的分发比例进一步提升。


从2024年4月至今,我们实现了直播商品推荐链路各技术方向上的突破性进展,同时也带来直播业务线上效果的显著提升。在直播频道这一核心场景中,新的直播商品推荐链路相较于仅基于单一主播信息的传统推荐策略,使得整体DAC(Daily Active Customer)率提高了6%,特别是对于低活跃度用户群体,其DAC增长率达到了30%,商品链路中直播优质爆品的分发比例超过了20%,优化了整个平台的商品流量分布结构;在直播宫格界面引入此直播商品链路后,观察到UCTR(User Click-Through Rate)提升了25%,给直播核心场域带来数百万的DAU增量。


未来,随着直播核心场域交互样式的改版升级,我们将进一步加强直播商品卡片的设计,使其更好地体现主播个人特色及其解说风格。同时,为了满足日益增长的业务需求,特别是在增强直播挂品识别能力和提升商品推荐精准度方面,我们计划更加深入地整合主播内容信息至现有推荐框架之中,构建一套更具针对性且符合直播行业特性的商品推荐解决方案。



关注「淘天集团算法技术」,一起成长~

推荐阅读
大模型加持淘宝搜索体验巡查,异常发现精度达93%
LLM助力88VIP会员探索N种潮流生活方式
当AI工具走进淘宝直播间,新手主播带货订单量暴涨

大语言模型改写技术在淘宝搜索中的应用

Turbo:多模态大模型加速,即插即用无需微调

认知推荐:基于LLM的首页推荐新范式

MT-Bench-101:大模型多轮对话能力评测

淘天算法工程师玩转《黑神话》,多模态大模型如何成为天命AI

多样性重排算法在淘宝首页信息流的创新应用

我在淘天做算法|十年拍立淘,一部视觉算法技术演变史

淘宝天猫双11多环节布局AI算法技术,整体大模型推理离线准确性超95%


推荐算法 · 目录
上一篇认知推荐(二):基于LLM的淘宝推荐算法显著提升发现性比例下一篇淘宝春节“送礼”应用最新AI推荐技术,礼赠满意率提升25%
继续滑动看下一个
淘天集团算法技术
向上滑动看下一个