语言: 中文
数据集:

• vblagoje/lfqa
  许可协议: mit

简介

该问题编码器模型基于DPRQuestionEncoder架构，利用Transformer的池化输出作为问题表征。更多细节请参阅博客文章。

训练过程

我们分两阶段使用FAIR的dpr-scale框架训练了vblagoje/dpr-question_encoder-single-lfqa-wiki模型。第一阶段采用PAQ预训练检查点，并在LFQA数据集的问题-答案对上微调检索器。由于dpr-scale需要包含正样本、负样本和困难负样本的DPR格式训练集，我们构建了以下训练文件：以答案作为正样本，无关问题答案作为负样本，而困难负样本则选自余弦相似度在0.55至0.65之间的其他问题答案。

第二阶段，我们改用首阶段构建的维基百科/Faiss索引中的正负样本（而非LFQA数据集答案）创建新DPR训练集。具体而言，针对每个数据集问题，我们查询首阶段维基百科Faiss索引，随后使用SBert交叉编码器对topk=50的问题/答案（段落）对进行评分。交叉编码器选择最高分段落作为正样本，最低分的七个答案作为困难负样本，负样本仍选自与问题无关的答案。在构建包含维基百科来源正负样本的DPR格式训练文件后，我们使用dpr-scale训练了基于DPR的问题/段落编码器。

性能表现

基于DPR的LFQA检索器（vblagoje/dpr-question_encoder-single-lfqa-wiki与vblagoje/dpr-ctx_encoder-single-lfqa-wiki）略逊于Krishna等人《Hurdles to Progress in Long-form Question Answering》中基于REALM的检索器——后者在KILT基准测试中R-precision为11.2，Recall@5为19.5。

使用方式

from transformers import DPRContextEncoder, DPRContextEncoderTokenizer  

model = DPRQuestionEncoder.from_pretrained("vblagoje/dpr-question_encoder-single-lfqa-wiki").to(device)  
tokenizer = AutoTokenizer.from_pretrained("vblagoje/dpr-question_encoder-single-lfqa-wiki")  

input_ids = tokenizer("飞机为什么会在天空留下尾迹？", return_tensors="pt")["input_ids"]  
embeddings = model(input_ids).pooler_output  

作者

• 弗拉基米尔·布拉戈耶维奇：dovlex [at] gmail.com 推特 | 领英