Comve Gpt2

🚀 ComVE-gpt2

ComVE-gpt2是一个在常识验证与解释（ComVE）数据集上微调的模型，可用于生成自然语言陈述违背常识的原因，在相关任务中表现良好。

🚀 快速开始

你可以使用原始模型进行文本生成，以生成自然语言陈述违背常识的原因。你可以直接使用generate.sh脚本，来生成给定陈述违背常识的原因。

⚠️ 重要提示

请确保你使用的是 transformers 包的 2.4.1 版本。较新的版本在文本生成方面存在一些问题，模型会反复生成最后一个生成的标记。

✨ 主要特性

• 该模型基于因果语言建模（CLM）目标，在常识验证与解释（ComVE）数据集上进行微调。
• 能够生成自然语言陈述违背常识的原因。

📚 详细文档

预期用途和限制

如何使用

你可以直接使用generate.sh脚本来生成给定陈述违背常识的原因。

限制和偏差

该模型通常倾向于否定输入的句子，而不是给出事实性的原因。

训练数据

该模型从 gpt2 模型初始化，并使用 ComVE 数据集进行微调。该数据集包含10K条违背常识的句子，每个句子都配有三个参考原因。

训练过程

每个违背常识的自然语言陈述与其参考原因以 <|continue|> 作为分隔符进行拼接，然后使用CLM目标对模型进行微调。该模型在Google Colab平台的Nvidia Tesla P100 GPU上进行训练，学习率为5e - 5，训练5个周期，最大序列长度为128，批量大小为64。

评估结果

该模型在SemEval2020任务4：常识验证与解释的开发集和测试集上分别取得了14.0547/13.6534的BLEU分数。

BibTeX引用和引用信息

@article{fadel2020justers,
  title={JUSTers at SemEval-2020 Task 4: Evaluating Transformer Models Against Commonsense Validation and Explanation},
  author={Fadel, Ali and Al-Ayyoub, Mahmoud and Cambria, Erik},
  year={2020}
}

📄 许可证

本项目采用MIT许可证。