语言: 英语
数据集:

• C4
• 维基百科

许可证: Apache-2.0

谷歌T5模型用于闭卷问答。

该模型首先在C4数据集上通过T5的去噪目标进行预训练，随后在维基百科数据上采用REALM的显著跨度掩码目标进行额外预训练。

注意：此模型需在下游问答任务上微调后，方可应用于闭卷问答场景。

其他社区检查点: 此处查看

论文: 语言模型参数中能封装多少知识？

作者: Adam Roberts, Colin Raffel, Noam Shazeer

摘要

近期研究发现，在非结构化文本上训练的神经语言模型能通过自然语言查询隐式存储和检索知识。本文通过微调预训练模型实现无需外部上下文或知识源的问答，验证了该方法的实用价值。研究表明，该方法性能随模型规模提升，在回答问题时表现与显式从外部知识源检索答案的开放域系统相当。为促进可复现性和后续研究，我们在https://goo.gle/t5-cbqa公开了代码与训练模型。