ACL 2021 | 丁香园知识增强预训练模型

ACL 2021 | 丁香园知识增强预训练模型

摘要

使用预训练模型已经成为大部分NLP任务的标配，因此近年来有大量的工作围绕着如何提高预训练模型的质量。其中，引入外部知识无疑是最热门的话题之一。丁香园NLP联合华师大何晓丰老师团队，在今年的ACL上发表了 SMedBERT 工作。这是在医疗垂直领域下，首次将知识图谱中的医学实体，连同实体关系中的结构化语义信息，同时引入到预训练模型中。利用该预训练模型，在下游包括MRC、语义匹配、NER等任务都带来指标提升。