语言: 中文
标签:

• 问答系统
• 分类
• 问题
• 答案生成
• SQuAD数据集
• 评估指标
• 自然语言生成
• T5-small模型
  许可证: MIT
  数据集:
• SQuAD
• CNN/DailyMail

模型索引:

• 名称: t5-weighter_cnndm-en
  成果:
  • 任务:
    名称: 分类
    类型: 问题权重评估

示例应用:

• 文本: "一名白金汉宫卫兵谁踩到了井盖？这是令人尴尬的一幕：一名白金汉宫卫兵在数百名震惊的游客面前滑倒，跌倒在哨岗旁的井盖上。[...] 卫队由两个分队组成，分别驻守白金汉宫和圣詹姆斯宫，由女王卫队队长指挥。"

t5-weighter_cnndm-en

模型描述

该模型是基于T5-small架构的分类器，用于预测一个答案/问题组合是否被视为重要事实（该答案是否足够相关，可以出现在合理的摘要中）。
它实际上是QuestEval评估指标的一个组件，但也可以独立使用。

使用方法

from transformers import T5Tokenizer, T5ForConditionalGeneration  

tokenizer = T5Tokenizer.from_pretrained("ThomasNLG/t5-weighter_cnndm-en")  

model = T5ForConditionalGeneration.from_pretrained("ThomasNLG/t5-weighter_cnndm-en")  

您可以通过推理API测试模型，输入文本应遵循以下模板（与模型训练阶段一致）：

text_input = "{答案} </s> {问题} </s> {上下文}"

训练数据

该模型基于合成数据训练，具体方法详见论文Questeval: Summarization asks for fact-based evaluation。

引用信息

@article{scialom2021questeval,  
  title={Questeval: Summarization asks for fact-based evaluation},  
  author={Scialom, Thomas and Dray, Paul-Alexis and Gallinari, Patrick and Lamprier, Sylvain and Piwowarski, Benjamin and Staiano, Jacopo and Wang, Alex},  
  journal={arXiv preprint arXiv:2103.12693},  
  year={2021}  
}