语言: 英语
数据集:

• C4
• 维基百科
• 自然问题

任务标签: 文本到文本生成

许可协议: Apache-2.0

谷歌T5模型，专为闭卷问答任务设计。

该模型首先在C4数据集上通过T5的去噪目标进行预训练，随后在维基百科上采用REALM的显著跨度掩码目标进行额外预训练，最终在自然问题(NQ)数据集上进行微调。

注意: 该模型在自然问题(NQ)训练集的100%数据上进行了1万步的微调。

其他社区检查点: 此处查看

论文: 语言模型参数中能封装多少知识？

作者: Adam Roberts, Colin Raffel, Noam Shazeer

自然问题测试集结果

使用方法

该模型可用于闭卷问答任务，示例如下：

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer  

t5_qa_model = AutoModelForSeq2SeqLM.from_pretrained("google/t5-large-ssm-nq")  
t5_tok = AutoTokenizer.from_pretrained("google/t5-large-ssm-nq")  

input_ids = t5_tok("富兰克林·D·罗斯福何时出生？", return_tensors="pt").input_ids  
gen_output = t5_qa_model.generate(input_ids)[0]  

print(t5_tok.decode(gen_output, skip_special_tokens=True))  

# 应输出"1892年12月26日" => 接近但不完全准确。  

摘要

近期研究发现，在非结构化文本上训练的神经语言模型能通过自然语言查询隐式存储和检索知识。本文通过微调预训练模型使其在不依赖外部上下文或知识的情况下回答问题，评估了该方法的实际效用。研究表明，该方法随模型规模扩展表现优异，在回答问题时与显式从外部知识源检索答案的开放域系统竞争力相当。为促进可复现性和后续研究，我们在https://goo.gle/t5-cbqa发布了代码和训练模型。