语言: 英语
数据集:

• c4
• 维基百科
• 自然问题

许可证: Apache-2.0

谷歌T5用于闭卷问答。

该模型首先在C4数据集上使用T5的去噪目标进行预训练，随后在维基百科上采用REALM的显著跨度掩码目标进行额外预训练，最后在自然问题(NQ)上进行微调。

注意：模型在自然问题(NQ)训练集的90%数据上微调了2万步，并在保留的10%训练集上进行验证。

其他社区检查点：此处

论文：你能将多少知识压缩到语言模型的参数中？

作者：Adam Roberts, Colin Raffel, Noam Shazeer

自然问题测试集结果

使用方法

该模型可按以下方式用于闭卷问答：

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer  

t5_qa_model = AutoModelForSeq2SeqLM.from_pretrained("google/t5-large-ssm-nqo")  
t5_tok = AutoTokenizer.from_pretrained("google/t5-large-ssm-nqo")  

input_ids = t5_tok("富兰克林·D·罗斯福何时出生？", return_tensors="pt").input_ids  
gen_output = t5_qa_model.generate(input_ids)[0]  

print(t5_tok.decode(gen_output, skip_special_tokens=True))  

摘要

最近研究发现，在非结构化文本上训练的神经语言模型可以通过自然语言查询隐式存储和检索知识。在这篇短文中，我们通过微调预训练模型在不访问任何外部上下文或知识的情况下回答问题，来衡量这种方法的实际效用。我们证明，这种方法随着模型规模的扩大而扩展，并且在回答问题时与显式从外部知识源检索答案的开放域系统表现相当。为了促进可重复性和未来工作，我们在https://goo.gle/t5-cbqa发布了代码和训练模型。