语言: 英文
数据集:

• c4
• 维基百科
• trivia_qa

许可证: apache-2.0

谷歌T5模型用于闭卷问答任务。

该模型首先在C4数据集上通过T5的去噪目标进行预训练，随后在维基百科上通过REALM的显著跨度掩码目标进行额外预训练，最后在Trivia QA (TQA)上进行微调。

注意: 该模型在Trivia QA (TQA)训练集的100%数据上进行了10步微调。

其他社区检查点: 此处

论文: 语言模型参数中能封装多少知识？

作者: Adam Roberts, Colin Raffel, Noam Shazeer

Trivia QA测试集结果

使用方法

该模型可按以下方式用于闭卷问答:

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer  

t5_qa_model = AutoModelForSeq2SeqLM.from_pretrained("google/t5-xxl-ssm-tqa")  
t5_tok = AutoTokenizer.from_pretrained("google/t5-xxl-ssm-tqa")  

input_ids = t5_tok("富兰克林·D·罗斯福何时出生？", return_tensors="pt").input_ids  
gen_output = t5_qa_model.generate(input_ids)[0]  

print(t5_tok.decode(gen_output, skip_special_tokens=True))  

摘要

最近研究发现，在非结构化文本上训练的神经语言模型能通过自然语言查询隐式存储和检索知识。本文通过微调预训练模型在无外部上下文或知识的情况下回答问题，评估了该方法的实际效用。研究表明，该方法随模型规模扩展，在回答问题时性能与显式从外部知识源检索答案的开放域系统相当。为促进可复现性和后续研究，我们在https://goo.gle/t5-cbqa发布了代码和训练模型。