语言: 英语
数据集:

• C4
• 维基百科

许可证: Apache-2.0

谷歌T5用于闭卷问答。

该模型首先在C4数据集上通过T5的去噪目标进行预训练，随后在维基百科上采用REALM的显著跨度掩码目标进行额外预训练。

注意：此模型需在下游问答任务上进行微调后，方可适用于闭卷问答场景。

其他社区检查点：此处查看

论文：语言模型的参数能承载多少知识？

作者：Adam Roberts, Colin Raffel, Noam Shazeer

摘要

近期研究发现，在非结构化文本上训练的神经语言模型能通过自然语言查询隐式存储和检索知识。本文通过微调预训练模型实现无需外部上下文或知识源的问答，评估了该方法的实际效用。研究表明，该方法的效果随模型规模提升，在回答问题时性能与显式从外部知识源检索答案的开放域系统相当。为促进可复现性和后续研究，我们在https://goo.gle/t5-cbqa公开了代码和训练模型。