最近一段时间在做商品理解的工作，主要内容是从商品标题里识别出商品的一些属性标签，包括不限于品牌、颜色、领型、适用人群、尺码等等。这类任务可以抽象成命名实体识别（Named Entity Recognition, NER）工作，一般用序列标注（Sequence Tagging）的方式来做，是比较成熟的方向。

在自然语言处理和知识图谱中，实体抽取、NER是一个基本任务，也是产业化应用NLP 和知识图谱的关键技术之一。

大语言模型几乎能轻而易举的完成所有传统NLP任务，但是实际生产存在的成本问题依然是一个局限。那我们是否可以把大模型的知识传授给特定领域的小模型呢？本文提供了一种思路并做了实际尝试。

作者在创建训练集和验证集的数据加载器后，进一步定义了模型、损失函数和优化器。作者使用了一个自定义的PyTorch模型，该模型包含BERT模型和额外的分类层。为了处理不平衡的数据集，作者选择了使用Focal Loss作为损失函数。具体的训练脚本可以在Gist上找到。

面向产业和消费互联网的搜索本质都是一样的：用户有信息获取需求，同时有信息资源库，通过搜索引擎把两者桥接起来。

命名实体识别（NER）是自然语言处理中的热点研究方向之一，目的是识别文本中的命名实体，并将其归纳到相应的实体类型中。本文将分享音乐领域的命名实体识别技术。

检索遇到生成：深度语义相关性计算在闲鱼搜索的应用。

吞吐提升一倍，同等压力下的延迟下降 50%。

构建了 5 种 BERT 模型蒸馏至 textCNN 模型的方案。

在图像研究领域，预训练技术早已经是屡见不鲜的事情；但在自然语言理解领域，预训练大部分还只停留在Embedding层面，比如Word2Vec，Glove等，更复杂些的还有Elmo等。

BERT模型自诞生以来统治了各项NLP任务的榜单，本文提出了对BERT的一些改进，大幅扩充BERT词模型的词典并测试其表现。

本次分享，将介绍小爱算法团队基于近年来流行的BERT预训练模型在这个问题上所进行的一些技术探索，以及在业务场景中的落地情况。

本文主要介绍BERT在优化美团搜索核心排序上的探索过程以及实践经验。

美团搜索与NLP中心提出了一种针对数据集MS MARCO文本检索任务的BERT算法方案。

最近ChatGPT的火爆已经从AI领域蔓延至各行各业。本文主要分享GPT 的演进、ChatGPT的原理和在哈啰营销应用的想法。

简单来说，ChatGPT 是自然语言处理（NLP）和强化学习（RL）的一次成功结合，考虑到读者可能只熟悉其中一个方向或者两个方向都不太熟悉，本文会将 ChatGPT 涉及到的所有知识点尽可能通俗易懂的方式展现出来，有基础的同学可以选择性跳过一些内容。