论文分享：GLM: General Language Model Pretraining

论文分享：GLM: General Language Model Pretraining

摘要

GLM提出了一种基于自回归空白填充的通用语言模型，通过2D位置编码和任意跨度预测改进预训练，适用于多种NLP任务。实验表明，GLM在同等模型规模和数据下优于BERT、T5和GPT，展现了强大的泛化能力。其多任务预训练和微调策略进一步提升了模型性能，尤其在NLU和生成任务上表现突出。