Data2Vec-Text基础模型

该模型采用data2vec目标对英语语言进行预训练，由这篇论文首次提出，并发布于该代码库。请注意该模型区分大小写：例如能识别"english"和"English"的区别。

免责声明：Data2Vec-Text的研发团队未提供该模型的说明卡片，本文档由Hugging Face团队撰写。

预训练方法

更多技术细节请参阅原始论文。

摘要

虽然自监督学习的核心理念在不同模态中是相通的，但由于各算法最初都是针对单一模态设计的，导致具体实现方式和目标函数存在显著差异。为实现更通用的自监督学习，我们提出data2vec框架——该框架可使用统一的学习方法处理语音、自然语言或计算机视觉任务。其核心思想是：在自蒸馏架构中，基于输入数据的遮蔽视图，通过标准Transformer结构预测完整输入数据的潜在表征。不同于预测单词、视觉标记或语音单元等局部化的模态特定目标，data2vec预测的是包含整个输入信息的上下文相关潜在表征。在语音识别、图像分类和自然语言理解等主流基准测试中，我们的方法实现了最先进性能或具有竞争优势。

适用范围与限制

本模型适用于下游任务的微调。可通过模型中心查找您感兴趣任务的微调版本。

需注意，该模型主要适用于需要利用整句（可能包含遮蔽部分）进行决策的任务，如序列分类、标记分类或问答系统。对于文本生成类任务，建议考虑GPT2等模型。

训练数据

RoBERTa模型的预训练数据整合了五个数据集：

• BookCorpus：包含11,038本未出版书籍；
• 英文维基百科（排除列表、表格和标题）；
• CC-News：2016年9月至2019年2月爬取的6300万篇英文新闻；
• OpenWebText：WebText数据集的开源复现版（原用于GPT-2训练）；
• Stories：经筛选符合Winograd模式故事风格的CommonCrawl子集。

上述数据集总计包含160GB文本数据。

BibTeX引用格式

@misc{https://doi.org/10.48550/arxiv.2202.03555,
  doi = {10.48550/ARXIV.2202.03555},
  url = {https://arxiv.org/abs/2202.03555},
  author = {Baevski, Alexei and Hsu, Wei-Ning and Xu, Qiantong and Babu, Arun and Gu, Jiatao and Auli, Michael},
  keywords = {Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences},
  title = {data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language},
  publisher = {arXiv},
  year = {2022},
  copyright = {arXiv.org perpetual, non-exclusive license}
}