语言: 英语
数据集:

• C4
• 维基百科
• 自然问题

任务标签: 文本到文本生成

许可证: Apache-2.0

谷歌T5用于闭卷问答。

该模型首先在C4数据集上通过T5的去噪目标进行预训练，随后在维基百科上通过REALM的显著跨度掩码目标进行额外预训练，最后在自然问题(NQ)上进行微调。

注意: 该模型在自然问题(NQ)训练集的100%数据上进行了1万步的微调。

其他社区检查点: 此处

论文: 你能将多少知识压缩到语言模型的参数中?

作者: Adam Roberts, Colin Raffel, Noam Shazeer

自然问题测试集结果

使用方法

该模型可用于闭卷问答，如下所示:

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer  

t5_qa_model = AutoModelForSeq2SeqLM.from_pretrained("google/t5-small-ssm-nq")  
t5_tok = AutoTokenizer.from_pretrained("google/t5-small-ssm-nq")  

input_ids = t5_tok("富兰克林·D·罗斯福何时出生?", return_tensors="pt").input_ids  
gen_output = t5_qa_model.generate(input_ids)[0]  

print(t5_tok.decode(gen_output, skip_special_tokens=True))  

摘要

最近观察到，在非结构化文本上训练的神经语言模型可以通过自然语言查询隐式存储和检索知识。在这篇短文中，我们通过微调预训练模型来回答问题而不访问任何外部上下文或知识，来衡量这种方法的实际效用。我们表明，这种方法随着模型规模的扩大而扩展，并且在回答问题时与明确从外部知识源检索答案的开放域系统相比具有竞争力。为了促进可重复性和未来工作，我们在https://goo.gle/t5-cbqa发布了我们的代码和训练模型。