标签:

• 特征提取 流水线标签: 特征提取

本模型是基于预训练Contriever模型（原版见https://huggingface.co/facebook/contriever）的微调版本，采用《面向无监督密集信息检索的对比学习》论文所述方法训练。相关GitHub仓库详见https://github.com/facebookresearch/contriever。

使用指南（HuggingFace Transformers）

直接使用HuggingFace transformers库中的模型时，需通过均值池化操作获取句子嵌入表示。

import torch
from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained('facebook/contriever-msmarco')
model = AutoModel.from_pretrained('facebook/contriever-msmarco')

sentences = [
    "居里夫人在何处出生？",
    "玛丽亚·斯克沃多夫斯卡，即后来广为人知的居里夫人，于1867年11月7日出生。",
    "皮埃尔·居里1859年5月15日出生于巴黎，其父尤金·居里是来自阿尔萨斯地区的法籍天主教医生。"
]

# 应用分词器
inputs = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# 计算词元嵌入
outputs = model(**inputs)

# 均值池化函数
def mean_pooling(token_embeddings, mask):
    token_embeddings = token_embeddings.masked_fill(~mask[..., None].bool(), 0.)
    sentence_embeddings = token_embeddings.sum(dim=1) / mask.sum(dim=1)[..., None]
    return sentence_embeddings
embeddings = mean_pooling(outputs[0], inputs['attention_mask'])