pipeline_tag: 文本排序
language: 法语
license: mit
datasets:

• unicamp-dl/mmarco
  metrics:
• 召回率
  tags:
• 段落重排序
  library_name: sentence-transformers
  base_model: almanach/camembert-large
  model-index:
• name: crossencoder-camembert-large-mmarcoFR
  results:
  • task:
    type: 文本分类
    name: 段落重排序
    dataset:
    name: mMARCO-fr
    type: unicamp-dl/mmarco
    config: 法语
    split: 验证集
    metrics:
    • type: recall_at_500
      value: 97.33
      name: Recall@500
    • type: recall_at_100
      value: 88.1
      name: Recall@100
    • type: recall_at_10
      value: 62.61
      name: Recall@10
    • type: mrr_at_10
      value: 35.23
      name: MRR@10

crossencoder-camembert-large-mmarcoFR

这是一个法语交叉编码器模型。它对问题-段落对执行交叉注意力计算，并输出相关性分数。
该模型应用于语义搜索的重新排序阶段：给定查询和由高效的第一阶段检索系统（如BM25或经过微调的单向量双编码器）检索出的一组潜在相关段落，对每个查询-段落对进行编码，并根据模型预测的分数按相关性降序对段落进行排序。

使用方法

以下是使用该模型的示例，可通过Sentence-Transformers、FlagEmbedding或Huggingface Transformers实现。

使用Sentence-Transformers

首先安装库：pip install -U sentence-transformers。然后按如下方式使用模型：

from sentence_transformers import CrossEncoder  

pairs = [('问题', '段落1'), ('问题', '段落2'), ('问题', '段落3')]  

model = CrossEncoder('antoinelouis/crossencoder-camembert-large-mmarcoFR')  
scores = model.predict(pairs)  
print(scores)  

使用FlagEmbedding

首先安装库：pip install -U FlagEmbedding。然后按如下方式使用模型：

from FlagEmbedding import FlagReranker  

pairs = [('问题', '段落1'), ('问题', '段落2'), ('问题', '段落3')]  

reranker = FlagReranker('antoinelouis/crossencoder-camembert-large-mmarcoFR')  
scores = reranker.compute_score(pairs)  
print(scores)  

使用HuggingFace Transformers

首先安装库：pip install -U transformers。然后按如下方式使用模型：

import torch  
from transformers import AutoTokenizer, AutoModelForSequenceClassification  

pairs = [('问题', '段落1'), ('问题', '段落2'), ('问题', '段落3')]  

tokenizer = AutoTokenizer.from_pretrained('antoinelouis/crossencoder-camembert-large-mmarcoFR')  
model = AutoModelForSequenceClassification.from_pretrained('antoinelouis/crossencoder-camembert-large-mmarcoFR')  
model.eval()  

with torch.no_grad():  
    inputs = tokenizer(pairs, padding=True, truncation=True, return_tensors='pt', max_length=512)  
    scores = model(**inputs, return_dict=True).logits.view(-1, ).float()  
print(scores)  

评估

模型在mMARCO-fr的小型开发集上进行评估，该数据集包含6,980个查询，每个查询需要从1000个包含正例和ColBERTv2硬负例的段落中重新排序。我们报告了平均倒数排名（MRR）和不同截断点的召回率（R@k）。要了解其与其他法语神经检索模型的比较，请查看DécouvrIR排行榜。

训练

数据

我们使用来自mMARCO数据集的法语训练样本，这是MS MARCO的多语言机器翻译版本，包含880万段落和53.9万训练查询。我们不使用官方数据集提供的BM25负例，而是从12种不同的密集检索器中挖掘更难的负例，利用msmarco-hard-negatives蒸馏数据集。最终，我们采样了260万个训练三元组（查询、段落、相关性），正负样本比例为1（即50%的配对相关，50%不相关）。

实现

模型从almanach/camembert-large检查点初始化，并通过二元交叉熵损失优化（如monoBERT）。在一块80GB NVIDIA H100 GPU上微调20k步，使用AdamW优化器，批量大小为128，恒定学习率2e-5。我们将拼接后的问题-段落对的最大序列长度设为256个词元，并使用sigmoid函数将分数限制在0到1之间。

引用

@online{louis2024decouvrir,  
	author    = '安托万·路易',  
	title     = 'DécouvrIR：评估法语信息检索模型鲁棒性的基准',  
	publisher = 'Hugging Face',  
	month     = '3月',  
	year      = '2024',  
	url       = 'https://huggingface.co/spaces/antoinelouis/decouvrir',  
}