语言: "英语" 标签:

• exbert
• 常识推理
• semeval2020
• comve 许可证: "mit" 数据集:
• ComVE 评估指标:
• bleu 小部件示例:
• 文本: "鸡能在水中游泳。<|继续|>"

ComVE-gpt2模型

模型描述

本模型基于Semeval2020任务4提出的常识验证与解释(ComVE)数据集，采用因果语言建模(CLM)目标进行微调。该模型能够生成给定自然语言陈述违反常识的原因说明。

使用场景与限制

您可以直接使用该原始模型进行文本生成，解释为何自然语言陈述违反常识。

使用方法

通过generate.sh脚本可直接生成违反常识陈述的原因说明。

注意： 请确保使用transformers库的2.4.1版本。新版在文本生成时存在缺陷，会导致模型重复生成末尾标记。

局限性

该模型倾向于直接否定输入语句，而非提供事实性原因说明。

训练数据

模型以gpt2为基座，使用ComVE数据集微调。该数据集包含1万条违反常识的句子，每条对应三个参考原因说明。

训练过程

将违反常识的自然语言陈述与参考原因通过<|continue|>分隔符连接后，采用CLM目标进行微调。训练在Google Colab平台的Nvidia Tesla P100 GPU上完成，参数设置为：学习率5e-5，5个epoch，最大序列长度128，批量大小64。

评估结果

模型在SemEval2020任务4的开发集和测试集上分别获得14.0547/13.6534的BLEU分数。

引用文献

@article{fadel2020justers,
  title={JUSTers在SemEval-2020任务4：评估Transformer模型在常识验证与解释中的表现},
  author={法德尔, 阿里 and 阿勒尤布, 马哈茂德 and 坎布里亚, 埃里克},
  year={2020}
}