语言: 英文
数据集:

• c4
• 维基百科

许可证: apache-2.0

谷歌T5模型用于闭卷问答任务。

该模型首先基于C4数据集采用T5的去噪目标进行预训练，随后在维基百科上结合REALM论文提出的显著片段掩码目标进行增量预训练。

注意：该模型需在下游问答任务上微调后，方可应用于闭卷问答场景。

其他社区检查点：此处查阅

研究论文：语言模型的参数能封装多少知识？

作者：Adam Roberts, Colin Raffel, Noam Shazeer

摘要

近期研究发现，基于非结构化文本训练的神经语言模型能通过自然语言查询隐式存储和检索知识。本简报通过微调预训练模型实现无需外部上下文或知识源的问答，验证了该方法的实用价值。研究表明，该方法性能随模型规模提升，在回答问题时与显式从外部知识源检索答案的开放域系统表现相当。为促进可复现性及后续研究，我们在https://goo.gle/t5-cbqa公开了代码与训练模型。