作者在创建训练集和验证集的数据加载器后，进一步定义了模型、损失函数和优化器。作者使用了一个自定义的PyTorch模型，该模型包含BERT模型和额外的分类层。为了处理不平衡的数据集，作者选择了使用Focal Loss作为损失函数。具体的训练脚本可以在Gist上找到。

面向产业和消费互联网的搜索本质都是一样的：用户有信息获取需求，同时有信息资源库，通过搜索引擎把两者桥接起来。

命名实体识别（NER）是自然语言处理中的热点研究方向之一，目的是识别文本中的命名实体，并将其归纳到相应的实体类型中。本文将分享音乐领域的命名实体识别技术。

检索遇到生成：深度语义相关性计算在闲鱼搜索的应用。

吞吐提升一倍，同等压力下的延迟下降 50%。

构建了 5 种 BERT 模型蒸馏至 textCNN 模型的方案。

在图像研究领域，预训练技术早已经是屡见不鲜的事情；但在自然语言理解领域，预训练大部分还只停留在Embedding层面，比如Word2Vec，Glove等，更复杂些的还有Elmo等。

BERT模型自诞生以来统治了各项NLP任务的榜单，本文提出了对BERT的一些改进，大幅扩充BERT词模型的词典并测试其表现。

本次分享，将介绍小爱算法团队基于近年来流行的BERT预训练模型在这个问题上所进行的一些技术探索，以及在业务场景中的落地情况。

本文主要介绍BERT在优化美团搜索核心排序上的探索过程以及实践经验。

美团搜索与NLP中心提出了一种针对数据集MS MARCO文本检索任务的BERT算法方案。

最近ChatGPT的火爆已经从AI领域蔓延至各行各业。本文主要分享GPT 的演进、ChatGPT的原理和在哈啰营销应用的想法。

简单来说，ChatGPT 是自然语言处理（NLP）和强化学习（RL）的一次成功结合，考虑到读者可能只熟悉其中一个方向或者两个方向都不太熟悉，本文会将 ChatGPT 涉及到的所有知识点尽可能通俗易懂的方式展现出来，有基础的同学可以选择性跳过一些内容。

总结一下NER任务，包括思路分解、标签集说明、评估指标、编码器、解码方式等等。

搜推系统本质上就是一个信息过滤系统，通常分为：召回、排序、重排序3个环节，每个环节逐层过滤，最终从海量的物料库中筛选出几十个或上百个用户感兴趣或者有意向的物料返回给用户。

本文主要介绍对话生成，首先介绍它的发展历程，第二部分介绍vivo对话生成技术的探索，第三部分是总结。