语言: 英语 标签:

• exbert 许可证: mit 数据集:
• bookcorpus
• wikipedia

Muppet：通过预微调实现的大规模多任务表征

RoBERTa基础模型

这是Roberta基础模型的大规模多任务预微调版本。该模型在这篇论文中首次提出。相较于原始roberta-base，该模型在广泛的GLUE和问答任务上表现更优（具体数据详见论文），尤其在小型数据集上的提升尤为显著。

注意：由于兼容性问题，此检查点未包含预微调阶段使用的分类/机器阅读理解头，因此在部分数据集上的性能可能略低于论文报告值

模型描述

RoBERTa是基于自监督方式在大规模英文语料上预训练的transformer模型。这意味着其预训练仅使用原始文本，无需任何人工标注（因此可利用大量公开数据），通过自动流程从文本生成输入和标签。

具体而言，它采用掩码语言建模（MLM）目标进行预训练。模型会随机遮蔽输入句子中15%的词汇，然后将整个遮蔽后的句子输入模型以预测被遮蔽词汇。这与传统循环神经网络（RNN）逐词处理的方式不同，也不同于GPT等自回归模型内部遮蔽未来词元的机制。该方法使模型能学习句子的双向表征。

通过这种方式，模型习得了英语语言的内在表征，可提取适用于下游任务的特征：例如若拥有带标签句子的数据集，可利用BERT模型生成的特征作为输入训练标准分类器。

使用场景与限制

原始模型可用于掩码语言建模，但主要适用于下游任务的微调。请访问模型中心查找您感兴趣任务的微调版本。

需注意，本模型主要针对需要整句（可能含遮蔽）决策的任务进行微调，如序列分类、词元分类或问答。文本生成类任务建议使用GPT2等模型。

评估结果

在下游任务微调后，该模型取得如下表现：

GLUE测试结果：

BibTeX条目与引用信息

@article{DBLP:journals/corr/abs-2101-11038,
  author    = {Armen Aghajanyan and
               Anchit Gupta and
               Akshat Shrivastava and
               Xilun Chen and
               Luke Zettlemoyer and
               Sonal Gupta},
  title     = {Muppet: Massive Multi-task Representations with Pre-Finetuning},
  journal   = {CoRR},
  volume    = {abs/2101.11038},
  year      = {2021},
  url       = {https://arxiv.org/abs/2101.11038},
  archivePrefix = {arXiv},
  eprint    = {2101.11038},
  timestamp = {Sun, 31 Jan 2021 17:23:50 +0100},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2101-11038.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}