语言:

• 英文 标签:
• 文本分类 微件示例:
• 文本: "我差点忘了吃午饭。我没有忘记吃午饭。"
• 文本: "我差点忘了吃午饭。我忘记吃午饭了。"
• 文本: "我吃过午饭了。我差点忘了吃午饭。" 数据集:
• alisawuffles/WANLI

这是基于WANLI（Worker-AI协作自然语言推理数据集，Liu等人，2022）微调的现成roberta-large模型。在八个域外测试集上，其性能优于roberta-large-mnli模型，其中在HANS上提升11%，在对抗性NLI上提升9%。

使用方法

from transformers import RobertaTokenizer, RobertaForSequenceClassification

model = RobertaForSequenceClassification.from_pretrained('alisawuffles/roberta-large-wanli')
tokenizer = RobertaTokenizer.from_pretrained('alisawuffles/roberta-large-wanli')

x = tokenizer("我差点忘了吃午饭。", "我没有忘记吃午饭。", return_tensors='pt', max_length=128, truncation=True)
logits = model(**x).logits
probs = logits.softmax(dim=1).squeeze(0)
label_id = torch.argmax(probs).item()
prediction = model.config.id2label[label_id]

引用

@inproceedings{liu-etal-2022-wanli,
    title = "{WANLI}: 人机协作构建自然语言推理数据集",
    author = "刘, Alisa 和
      Swayamdipta, Swabha 和
      Smith, Noah A. 和
      Choi, Yejin",
    booktitle = "计算语言学协会发现：EMNLP 2022",
    month = "12月",
    year = "2022",
    address = "阿联酋阿布扎比",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2022.findings-emnlp.508",
    pages = "6826--6847",
    abstract = "大规模众包NLP数据集的一个常见挑战是，人类编写者在创作示例时往往依赖重复模式，导致语言多样性不足。我们提出了一种基于人机协作的新型数据集构建方法，该方法结合了语言模型的生成能力和人类的评估能力。从现有的自然语言推理（NLI）数据集MultiNLI出发，我们的方法利用数据集制图自动识别展示复杂推理模式的示例，并指导GPT-3生成具有类似模式的新示例。机器生成的示例随后会自动过滤，最终由人类众包工作者修订和标注。所得数据集WANLI包含107,885个NLI示例，在实证上展现出优于现有NLI数据集的独特优势。值得注意的是，与在规模大4倍的MultiNLI上训练相比，在WANLI上训练的模型在我们考虑的八个域外测试集上表现更优，包括在HANS上提升11%，在对抗性NLI上提升9%。此外，其效果也优于用其他NLI数据集增强的MultiNLI。我们的结果证明了利用自然语言生成技术并重新构想人类在数据集创建过程中的角色的潜力。",
}