🚀 Splinter基础模型

Splinter-base是论文Few-Shot Question Answering by Pretraining Span Selection（发表于ACL 2021）中讨论的预训练模型。其原始代码库可在此处找到。该模型区分大小写。

注意：此模型不包含QASS层的预训练权重（详情见论文），因此在加载时QASS层会被随机初始化。如需包含这些权重的模型，请见tau/splinter-base-qass。

✨ 主要特性

• 以自监督方式进行预训练，适用于少样本问答任务。
• 采用循环跨度选择（RSS）目标进行预训练，模拟抽取式问答中的跨度选择过程。
• 定义了问题感知跨度选择（QASS）层，可根据特定问题选择跨度以进行多次预测。

📚 详细文档

模型描述

Splinter是一个以自监督方式进行预训练的少样本问答模型。这意味着它仅在原始文本上进行预训练，没有人工以任何方式对其进行标注（这就是它可以使用大量公开可用数据的原因），并通过自动过程从这些文本中生成输入和标签。

更确切地说，它是通过循环跨度选择（RSS）目标进行预训练的，该目标模拟了抽取式问答中涉及的跨度选择过程。给定一段文本，首先会识别出循环跨度的簇（即在文本中出现多次的n-gram）。对于每个这样的簇，除了其中一个实例外，所有其他实例都将被特殊的[QUESTION]标记替换，模型需要为每个被掩码的跨度选择正确的（即未被掩码的）跨度。该模型还定义了问题感知跨度选择（QASS）层，该层根据特定问题选择跨度（以便进行多次预测）。

预期用途与局限性

该模型的主要用途是少样本抽取式问答。

预训练

该模型在v3 - 8 TPU上进行了240万步的预训练。训练数据基于维基百科和BookCorpus。更多详情请参阅论文。

BibTeX引用和引用信息

@inproceedings{ram-etal-2021-shot,
    title = "Few-Shot Question Answering by Pretraining Span Selection",
    author = "Ram, Ori  and
      Kirstain, Yuval  and
      Berant, Jonathan  and
      Globerson, Amir  and
      Levy, Omer",
    booktitle = "Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)",
    month = aug,
    year = "2021",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.acl-long.239",
    doi = "10.18653/v1/2021.acl-long.239",
    pages = "3066--3079",
}

📄 许可证

本项目采用Apache 2.0许可证。