标签:

• 特征提取 pipeline_tag: 特征提取

本模型是SPAR论文中Wiki BM25词法模型（Λ）的上下文编码器：

显著短语感知的稠密检索：稠密检索器能否模仿稀疏检索器？
作者：Xilun Chen, Kushal Lakhotia, Barlas Oğuz, Anchit Gupta, Patrick Lewis, Stan Peshterliev, Yashar Mehdad, Sonal Gupta 和 Wen-tau Yih
Meta AI

相关GitHub仓库见此处：https://github.com/facebookresearch/dpr-scale/tree/main/spar

该模型是一个基于BERT-base架构的稠密检索器，通过维基百科文章训练以模仿BM25的行为。其他可用模型如下：

单独使用词法模型（Λ）

该模型需与对应的查询编码器配合使用，类似于DPR模型。

import torch
from transformers import AutoTokenizer, AutoModel

# 查询与上下文编码器共享同一分词器
tokenizer = AutoTokenizer.from_pretrained('facebook/spar-wiki-bm25-lexmodel-query-encoder')
query_encoder = AutoModel.from_pretrained('facebook/spar-wiki-bm25-lexmodel-query-encoder')
context_encoder = AutoModel.from_pretrained('facebook/spar-wiki-bm25-lexmodel-context-encoder')

query = "玛丽·居里出生在哪里？"
contexts = [
    "玛丽亚·斯克沃多夫斯卡，后被称为玛丽·居里，于1867年11月7日出生。",
    "皮埃尔·居里1859年5月15日出生于巴黎，其父尤金·居里是来自阿尔萨斯的天主教医生。"
]

# 应用分词器
query_input = tokenizer(query, return_tensors='pt')
ctx_input = tokenizer(contexts, padding=True, truncation=True, return_tensors='pt')

# 计算嵌入向量：取[CLS]标记的最后隐藏层状态
query_emb = query_encoder(**query_input).last_hidden_state[:, 0, :]
ctx_emb = context_encoder(**ctx_input).last_hidden_state[:, 0, :]

# 使用点积计算相似度分数
score1 = query_emb @ ctx_emb[0]  # 341.3268
score2 = query_emb @ ctx_emb[1]  # 340.1626

在SPAR框架中结合基础稠密检索器使用词法模型（Λ）

由于Λ从稀疏教师检索器学习了词法匹配能力，可与标准稠密检索器（如DPR、Contriever）结合，构建同时擅长词法和语义匹配的稠密检索器。

以下示例展示如何通过拼接DPR与Wiki BM25 Λ的嵌入向量来构建SPAR-Wiki开放域问答模型：

import torch
from transformers import AutoTokenizer, AutoModel
from transformers import DPRQuestionEncoder, DPRQuestionEncoderTokenizer
from transformers import DPRContextEncoder, DPRContextEncoderTokenizer

# 加载DPR模型
dpr_ctx_tokenizer = DPRContextEncoderTokenizer.from_pretrained("facebook/dpr-ctx_encoder-multiset-base")
dpr_ctx_encoder = DPRContextEncoder.from_pretrained("facebook/dpr-ctx_encoder-multiset-base")
dpr_query_tokenizer = DPRQuestionEncoderTokenizer.from_pretrained("facebook/dpr-question_encoder-multiset-base")
dpr_query_encoder = DPRQuestionEncoder.from_pretrained("facebook/dpr-question_encoder-multiset-base")

# 加载Wiki BM25 Λ模型
lexmodel_tokenizer = AutoTokenizer.from_pretrained('facebook/spar-wiki-bm25-lexmodel-query-encoder')
lexmodel_query_encoder = AutoModel.from_pretrained('facebook/spar-wiki-bm25-lexmodel-query-encoder')
lexmodel_context_encoder = AutoModel.from_pretrained('facebook/spar-wiki-bm25-lexmodel-context-encoder')

query = "玛丽·居里出生在哪里？"
contexts = [
    "玛丽亚·斯克沃多夫斯卡，后被称为玛丽·居里，于1867年11月7日出生。",
    "皮埃尔·居里1859年5月15日出生于巴黎，其父尤金·居里是来自阿尔萨斯的天主教医生。"
]

# 计算DPR嵌入向量
dpr_query_input = dpr_query_tokenizer(query, return_tensors='pt')['input_ids']
dpr_query_emb = dpr_query_encoder(dpr_query_input).pooler_output
dpr_ctx_input = dpr_ctx_tokenizer(contexts, padding=True, truncation=True, return_tensors='pt')
dpr_ctx_emb = dpr_ctx_encoder(**dpr_ctx_input).pooler_output

# 计算Λ嵌入向量
lexmodel_query_input = lexmodel_tokenizer(query, return_tensors='pt')
lexmodel_query_emb = lexmodel_query_encoder(**query_input).last_hidden_state[:, 0, :]
lexmodel_ctx_input = lexmodel_tokenizer(contexts, padding=True, truncation=True, return_tensors='pt')
lexmodel_ctx_emb = lexmodel_context_encoder(**ctx_input).last_hidden_state[:, 0, :]

# 通过拼接构建SPAR嵌入向量

# 拼接权重仅应用于查询嵌入向量
# 详见SPAR论文说明
concat_weight = 0.7

spar_query_emb = torch.cat(
    [dpr_query_emb, concat_weight * lexmodel_query_emb],
    dim=-1,
    )
spar_ctx_emb = torch.cat(
    [dpr_ctx_emb, lexmodel_ctx_emb],
    dim=-1,
)

# 计算相似度分数
score1 = spar_query_emb @ spar_ctx_emb[0]  # 317.6931
score2 = spar_query_emb @ spar_ctx_emb[1]  # 314.6144