话题机器学习模型 › BERT

机器学习模型:BERT

NLP之NER:商品标题属性识别探索与实践

最近一段时间在做商品理解的工作,主要内容是从商品标题里识别出商品的一些属性标签,包括不限于品牌、颜色、领型、适用人群、尺码等等。这类任务可以抽象成命名实体识别(Named Entity Recognition, NER)工作,一般用序列标注(Sequence Tagging)的方式来做,是比较成熟的方向。

一文详解BERT模型实现NER命名实体抽取

在自然语言处理和知识图谱中,实体抽取、NER是一个基本任务,也是产业化应用NLP 和知识图谱的关键技术之一。

如何把大语言模型知识传授给小模型

大语言模型几乎能轻而易举的完成所有传统NLP任务,但是实际生产存在的成本问题依然是一个局限。那我们是否可以把大模型的知识传授给特定领域的小模型呢?本文提供了一种思路并做了实际尝试。

零基础用 Bert 训练并部署文本分类模型

作者在创建训练集和验证集的数据加载器后,进一步定义了模型、损失函数和优化器。作者使用了一个自定义的PyTorch模型,该模型包含BERT模型和额外的分类层。为了处理不平衡的数据集,作者选择了使用Focal Loss作为损失函数。具体的训练脚本可以在Gist上找到。

基于预训练语言模型的行业搜索的应用和研究

面向产业和消费互联网的搜索本质都是一样的:用户有信息获取需求,同时有信息资源库,通过搜索引擎把两者桥接起来。

QQ音乐命名实体识别技术

命名实体识别(NER)是自然语言处理中的热点研究方向之一,目的是识别文本中的命名实体,并将其归纳到相应的实体类型中。本文将分享音乐领域的命名实体识别技术。

闲鱼深度语义相关性计算:融合检索和生成任务

检索遇到生成:深度语义相关性计算在闲鱼搜索的应用。

基于BERT,神马搜索在线预测性能如何提升?

吞吐提升一倍,同等压力下的延迟下降 50%。

BERT 蒸馏在垃圾舆情识别中的探索

构建了 5 种 BERT 模型蒸馏至 textCNN 模型的方案。

BERT-预训练的强大

在图像研究领域,预训练技术早已经是屡见不鲜的事情;但在自然语言理解领域,预训练大部分还只停留在Embedding层面,比如Word2Vec,Glove等,更复杂些的还有Elmo等。

从字到词,大词典中文BERT模型的探索之旅

BERT模型自诞生以来统治了各项NLP任务的榜单,本文提出了对BERT的一些改进,大幅扩充BERT词模型的词典并测试其表现。

基于BERT的ASR纠错

本次分享,将介绍小爱算法团队基于近年来流行的BERT预训练模型在这个问题上所进行的一些技术探索,以及在业务场景中的落地情况。

BERT在美团搜索核心排序的探索和实践

本文主要介绍BERT在优化美团搜索核心排序上的探索过程以及实践经验。

MT-BERT在文本检索任务中的实践

美团搜索与NLP中心提出了一种针对数据集MS MARCO文本检索任务的BERT算法方案。

ChatGPT的炼成方式和在哈啰营销落地能力

最近ChatGPT的火爆已经从AI领域蔓延至各行各业。本文主要分享GPT 的演进、ChatGPT的原理和在哈啰营销应用的想法。

万字长文教你如何做出 ChatGPT

简单来说,ChatGPT 是自然语言处理(NLP)和强化学习(RL)的一次成功结合,考虑到读者可能只熟悉其中一个方向或者两个方向都不太熟悉,本文会将 ChatGPT 涉及到的所有知识点尽可能通俗易懂的方式展现出来,有基础的同学可以选择性跳过一些内容。

Home - Wiki
Copyright © 2011-2024 iteam. Current version is 2.139.0. UTC+08:00, 2024-12-30 02:57
浙ICP备14020137号-1 $Map of visitor$