语言: 英文 标签:

• exbert 许可证: mit 数据集:
• bookcorpus
• wikipedia

Muppet: 通过预微调实现的大规模多任务表征

RoBERTa大型模型

这是RoBERTa大型模型的大规模多任务预微调版本。该模型在这篇论文中首次提出。相较于roberta-base，该模型在广泛的GLUE和问答任务上表现更优（具体细节可参阅论文）。在较小数据集上的性能提升尤为显著。

注意：由于兼容性问题，此检查点不包含预微调期间使用的分类/机器阅读理解头，因此在某些数据集上的性能可能略低于论文中报告的结果。

模型描述

RoBERTa是一种基于大规模英文语料库通过自监督方式预训练的transformers模型。这意味着它仅对原始文本进行预训练，无需任何人工标注（因此可以利用大量公开数据），并通过自动化过程从文本中生成输入和标签。

具体而言，它采用掩码语言建模（MLM）目标进行预训练。模型会随机遮蔽输入句子中15%的词汇，然后将整个遮蔽后的句子输入模型以预测被遮蔽的词汇。这与传统循环神经网络（RNN）逐词处理的方式不同，也不同于GPT等自回归模型内部遮蔽未来标记的做法。该方法使模型能够学习句子的双向表征。

通过这种方式，模型学习到英语语言的内在表征，可用于提取对下游任务有益的特征：例如，若您拥有带标签句子的数据集，可以利用BERT模型生成的特征作为输入来训练标准分类器。

预期用途与限制

您可将原始模型用于掩码语言建模，但主要用途是针对下游任务进行微调。请访问模型中心查找您感兴趣任务的微调版本。

需注意，该模型主要适用于需要利用完整句子（可能包含掩码）进行决策的任务，如序列分类、标记分类或问答。对于文本生成等任务，建议考虑GPT2等模型。

评估结果

在下游任务微调后，该模型取得以下性能：

GLUE测试结果：

BibTeX条目与引用信息

@article{DBLP:journals/corr/abs-2101-11038,
  作者    = {Armen Aghajanyan and
              Anchit Gupta and
              Akshat Shrivastava and
              Xilun Chen and
              Luke Zettlemoyer and
              Sonal Gupta},
  标题     = {Muppet: 通过预微调实现的大规模多任务表征},
  期刊     = {CoRR},
  卷号     = {abs/2101.11038},
  年份      = {2021},
  网址       = {https://arxiv.org/abs/2101.11038},
  存档前缀 = {arXiv},
  电子版    = {2101.11038},
  时间戳    = {2021年1月31日 17:23:50 +0100},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2101-11038.bib},
  bibsource = {dblp计算机科学文献库, https://dblp.org}
}