语言: 英语
数据集:

• c4
• 维基百科
• 自然问题

任务标签: 文本到文本生成

许可证: Apache-2.0

谷歌T5用于闭卷问答。

该模型首先在C4数据集上通过T5的去噪目标进行预训练，随后在维基百科上通过REALM的显著跨度掩码目标进行额外预训练，最后在自然问题(NQ)数据集上进行微调。

注意: 该模型在自然问题(NQ)训练集的100%数据上进行了10,000步的微调。

其他社区检查点: 此处

论文: 你能将多少知识压缩到语言模型的参数中？

作者: Adam Roberts, Colin Raffel, Noam Shazeer

自然问题测试集结果

使用方法

该模型可用于闭卷问答，示例如下:

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer  

t5_qa_model = AutoModelForSeq2SeqLM.from_pretrained("google/t5-xl-ssm-nq")  
t5_tok = AutoTokenizer.from_pretrained("google/t5-xl-ssm-nq")  

input_ids = t5_tok("富兰克林·D·罗斯福何时出生？", return_tensors="pt").input_ids  
gen_output = t5_qa_model.generate(input_ids)[0]  

print(t5_tok.decode(gen_output, skip_special_tokens=True))  

摘要

最近研究发现，在非结构化文本上训练的神经语言模型能够隐式地存储知识并通过自然语言查询检索知识。本短文通过微调预训练模型使其在不访问任何外部上下文或知识的情况下回答问题，评估了这种方法的实际效用。研究表明，该方法随模型规模扩展，在回答问题时表现与显式从外部知识源检索答案的开放域系统相当。为促进可复现性和未来工作，我们在https://goo.gle/t5-cbqa发布了代码和训练模型。