Roberta Large Winogrande

🚀 RoBERTa大型模型在Winogrande数据集上微调

本模型在Winogrande数据集（XL规模）上进行了微调，采用序列分类任务格式。这意味着原本带有相应选项填充的句子对会被拆分、打乱，并相互独立地进行分类。

🚀 快速开始

文档未提供快速开始相关内容。

✨ 主要特性

本模型在Winogrande数据集上微调，以序列分类任务格式处理数据，将原句对拆分、打乱后独立分类。

📦 安装指南

文档未提供安装步骤相关内容。

💻 使用示例

文档未提供代码示例相关内容。

📚 详细文档

模型描述

文档未提供模型描述相关详细内容。

预期用途与限制

文档未提供预期用途与限制相关详细内容。

如何使用

文档未提供如何使用的详细内容。

🔧 技术细节

训练数据

WinoGrande-XL 按以下方式重新格式化：

1. 每个句子在 “_” 占位符符号处拆分。
2. 每个选项与拆分后的第二部分连接，从而将每个示例转换为两个文本片段对。
3. 对应正确和错误选项的文本片段对分别标记为 True 和 False 标签。
4. 此后对文本片段对进行打乱。

例如：

{
  "answer": "2",
  "option1": "plant",
  "option2": "urn",
  "sentence": "The plant took up too much room in the urn, because the _ was small."
}

变为

{
  "sentence1": "The plant took up too much room in the urn, because the ",
  "sentence2": "plant was small.",
  "label": false
}

和

{
  "sentence1": "The plant took up too much room in the urn, because the ",
  "sentence2": "urn was small.",
  "label": true
}

这些句子对随后被视为独立的示例。

BibTeX引用和引用信息

@article{sakaguchi2019winogrande,
    title={WinoGrande: An Adversarial Winograd Schema Challenge at Scale},
    author={Sakaguchi, Keisuke and Bras, Ronan Le and Bhagavatula, Chandra and Choi, Yejin},
    journal={arXiv preprint arXiv:1907.10641},
    year={2019}
}

@article{DBLP:journals/corr/abs-1907-11692,
  author    = {Yinhan Liu and
               Myle Ott and
               Naman Goyal and
               Jingfei Du and
               Mandar Joshi and
               Danqi Chen and
               Omer Levy and
               Mike Lewis and
               Luke Zettlemoyer and
               Veselin Stoyanov},
  title     = {RoBERTa: {A} Robustly Optimized {BERT} Pretraining Approach},
  journal   = {CoRR},
  volume    = {abs/1907.11692},
  year      = {2019},
  url       = {http://arxiv.org/abs/1907.11692},
  archivePrefix = {arXiv},
  eprint    = {1907.11692},
  timestamp = {Thu, 01 Aug 2019 08:59:33 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-1907-11692.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

📄 许可证

文档未提供许可证相关信息。