360 广告推荐业务中从 BERT 到 LLM 的语言模型应用探索，主要侧重工业界实际业务场景使用的角度，讨论语言模型在推荐系统的发展和应用。本次分享分为四部分：第一部分介绍 360 广告推荐业务的背景及为何使用语言模型的需求。第二部分分析语言模型在推荐系统中各算法的适用场景。第三部分介绍我们在广告业务场景中从 2021 年起的一系列语言模型应用实践。第四部分为总结和展望。

BERT是由Google提出的预训练语言模型，它基于transformer架构，被广泛应用于自然语言处理领域，是当前自然语言处理领域最流行的预训练模型之一。

快递服务业在人们的生活中起着越来越重要的作用，寄快递的第一步就是填写寄件人、收件人信息，这些信息包括但不限于姓名、电话号、地址、门牌号等。随着用户越来越“懒”，产品也要越来越“精”，如何从用户粘贴的一段文本中快速、精准地识别出实体信息对用户的产品体验至关重要。

最近一段时间在做商品理解的工作，主要内容是从商品标题里识别出商品的一些属性标签，包括不限于品牌、颜色、领型、适用人群、尺码等等。这类任务可以抽象成命名实体识别（Named Entity Recognition, NER）工作，一般用序列标注（Sequence Tagging）的方式来做，是比较成熟的方向。

在自然语言处理和知识图谱中，实体抽取、NER是一个基本任务，也是产业化应用NLP 和知识图谱的关键技术之一。

大语言模型几乎能轻而易举的完成所有传统NLP任务，但是实际生产存在的成本问题依然是一个局限。那我们是否可以把大模型的知识传授给特定领域的小模型呢？本文提供了一种思路并做了实际尝试。

作者在创建训练集和验证集的数据加载器后，进一步定义了模型、损失函数和优化器。作者使用了一个自定义的PyTorch模型，该模型包含BERT模型和额外的分类层。为了处理不平衡的数据集，作者选择了使用Focal Loss作为损失函数。具体的训练脚本可以在Gist上找到。

面向产业和消费互联网的搜索本质都是一样的：用户有信息获取需求，同时有信息资源库，通过搜索引擎把两者桥接起来。

命名实体识别（NER）是自然语言处理中的热点研究方向之一，目的是识别文本中的命名实体，并将其归纳到相应的实体类型中。本文将分享音乐领域的命名实体识别技术。

检索遇到生成：深度语义相关性计算在闲鱼搜索的应用。

吞吐提升一倍，同等压力下的延迟下降 50%。

构建了 5 种 BERT 模型蒸馏至 textCNN 模型的方案。

在图像研究领域，预训练技术早已经是屡见不鲜的事情；但在自然语言理解领域，预训练大部分还只停留在Embedding层面，比如Word2Vec，Glove等，更复杂些的还有Elmo等。

BERT模型自诞生以来统治了各项NLP任务的榜单，本文提出了对BERT的一些改进，大幅扩充BERT词模型的词典并测试其表现。

本次分享，将介绍小爱算法团队基于近年来流行的BERT预训练模型在这个问题上所进行的一些技术探索，以及在业务场景中的落地情况。

本文主要介绍BERT在优化美团搜索核心排序上的探索过程以及实践经验。