Headless语言模型

要点:1.提出了一种新的预训练方法，称为无预测头语言模型，它移除了对词汇空间概率分布的预测需求，而是关注用对比方式重构表示。2.该方法只需要改变目标函数，可以直接应用于经典语言模型预训练目标。3.在单语和多语编码器以及单语解码器中实验表明，Headless语言模型预训练相比经典方法在给定运算量下表现更好，计算效率更高。