pipeline_tag: 文本排序
language: 法语
license: mit
datasets:

• unicamp-dl/mmarco
  metrics:
• 召回率
  tags:
• 段落重排序
  library_name: sentence-transformers
  base_model: almanach/camembert-base
  model-index:
• name: crossencoder-camembert-base-mmarcoFR
  results:
  • task:
    type: 文本分类
    name: 段落重排序
    dataset:
    name: mMARCO-fr
    type: unicamp-dl/mmarco
    config: 法语
    split: 验证集
    metrics:
    • type: recall_at_100
      value: 85.34
      name: Recall@100
    • type: recall_at_10
      value: 59.83
      name: Recall@10
    • type: mrr_at_10
      value: 33.4
      name: MRR@10

crossencoder-camembert-base-mmarcoFR

这是一个法语交叉编码器模型。它对问题-段落对执行交叉注意力机制并输出相关性分数。
该模型应用于语义搜索的重新排序阶段：给定一个查询和一组由高效的第一阶段检索系统（如BM25或经过微调的密集单向量双编码器）检索的潜在相关段落，对每个查询-段落对进行编码，并根据模型预测的分数按相关性降序对段落进行排序。

使用方法

以下是使用Sentence-Transformers、FlagEmbedding或Huggingface Transformers调用该模型的示例。

使用Sentence-Transformers

首先安装库：pip install -U sentence-transformers。然后按如下方式使用模型：

from sentence_transformers import CrossEncoder  

pairs = [('问题', '段落1'), ('问题', '段落2'), ('问题', '段落3')]  

model = CrossEncoder('antoinelouis/crossencoder-camembert-base-mmarcoFR')  
scores = model.predict(pairs)  
print(scores)  

使用FlagEmbedding

首先安装库：pip install -U FlagEmbedding。然后按如下方式使用模型：

from FlagEmbedding import FlagReranker  

pairs = [('问题', '段落1'), ('问题', '段落2'), ('问题', '段落3')]  

reranker = FlagReranker('antoinelouis/crossencoder-camembert-base-mmarcoFR')  
scores = reranker.compute_score(pairs)  
print(scores)  

使用HuggingFace Transformers

首先安装库：pip install -U transformers。然后按如下方式使用模型：

import torch  
from transformers import AutoTokenizer, AutoModelForSequenceClassification  

pairs = [('问题', '段落1'), ('问题', '段落2'), ('问题', '段落3')]  

tokenizer = AutoTokenizer.from_pretrained('antoinelouis/crossencoder-camembert-base-mmarcoFR')  
model = AutoModelForSequenceClassification.from_pretrained('antoinelouis/crossencoder-camembert-base-mmarcoFR')  
model.eval()  

with torch.no_grad():  
    inputs = tokenizer(pairs, padding=True, truncation=True, return_tensors='pt', max_length=512)  
    scores = model(**inputs, return_dict=True).logits.view(-1, ).float()  
print(scores)  

评估

模型在mMARCO-fr的小型开发集上进行评估，该数据集包含6,980个查询，每个查询需要从包含正例和ColBERTv2硬负例的1000个段落集合中重新排序。我们报告了平均倒数排名（MRR）和不同截断点的召回率（R@k）。要了解其与其他法语神经检索模型的比较，请查看DécouvrIR排行榜。

训练

数据

我们使用来自mMARCO数据集的法语训练样本，这是MS MARCO的多语言机器翻译版本，包含880万段落和53.9万训练查询。我们不使用官方数据集提供的BM25负例，而是从12个不同的密集检索器中挖掘更难的负例，使用msmarco-hard-negatives蒸馏数据集。最终，我们采样了260万个训练三元组（查询、段落、相关性），正负样本比例为1（即50%的配对是相关的，50%是不相关的）。

实现

模型从almanach/camembert-base检查点初始化，并通过二元交叉熵损失进行优化（如monoBERT）。在一块80GB NVIDIA H100 GPU上使用AdamW优化器微调20k步，批量大小为128，恒定学习率为2e-5。我们将拼接后的问题-段落对的最大序列长度设置为256个token。使用sigmoid函数将分数映射到0到1之间。

引用

@online{louis2024decouvrir,  
    author    = 'Antoine Louis',  
    title     = 'DécouvrIR: 法语信息检索模型鲁棒性评估基准',  
    publisher = 'Hugging Face',  
    month     = '三月',  
    year      = '2024',  
    url       = 'https://huggingface.co/spaces/antoinelouis/decouvrir',  
}