Splinter基础模型（含预训练QASS层权重）

Splinter-base是在ACL 2021论文《通过预训练跨度选择实现小样本问答》中讨论的预训练模型。原始代码库可在此处找到。该模型区分大小写。

注：本模型包含QASS层的预训练权重（详见论文）。如需不含该权重的版本，请参见tau/splinter-base。

模型描述

Splinter是一种通过自监督方式预训练的少样本问答模型。这意味着它仅对原始文本进行预训练，无需任何人工标注（因此可利用大量公开数据），通过自动处理从文本生成输入和标签。

具体而言，它采用循环跨度选择（RSS）目标进行预训练，模拟抽取式问答中的跨度选择过程。给定文本时，首先识别重复出现的跨度簇（在文本中出现多次的n-gram）。对于每个簇，除一个实例外，其余实例均被替换为特殊[QUESTION]标记，模型需为每个被遮蔽的跨度选择正确（即未遮蔽）的跨度。该模型还定义了问题感知跨度选择（QASS）层，可根据特定问题选择跨度（以实现多重预测）。

预期用途与限制

该模型主要用于少样本抽取式问答。

预训练

模型在v3-8 TPU上进行了240万步预训练。训练数据基于维基百科和BookCorpus。详见论文。

BibTeX条目与引用信息

@inproceedings{ram-etal-2021-shot,
    title = "Few-Shot Question Answering by Pretraining Span Selection",
    author = "Ram, Ori and
      Kirstain, Yuval and
      Berant, Jonathan and
      Globerson, Amir and
      Levy, Omer",
    booktitle = "Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)",
    month = aug,
    year = "2021",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.acl-long.239",
    doi = "10.18653/v1/2021.acl-long.239",
    pages = "3066--3079",
}