pipeline_tag: 文本排序
language: 法语
license: mit
datasets:

• unicamp-dl/mmarco
  metrics:
• 召回率
  tags:
• 段落重排序
  library_name: sentence-transformers
  base_model: dbmdz/electra-base-french-europeana-cased-discriminator
  model-index:
• name: crossencoder-electra-base-french-mmarcoFR
  results:
  • task:
    type: 文本分类
    name: 段落重排序
    dataset:
    name: mMARCO-fr
    type: unicamp-dl/mmarco
    config: 法语
    split: 验证集
    metrics:
    • type: recall_at_500
      value: 95.11
      name: Recall@500
    • type: recall_at_100
      value: 82.72
      name: Recall@100
    • type: recall_at_10
      value: 56.03
      name: Recall@10
    • type: mrr_at_10
      value: 31.7
      name: MRR@10

crossencoder-electra-base-french-mmarcoFR

这是一个法语交叉编码器模型。它对问题-段落对执行交叉注意力机制，并输出相关性分数。
该模型应用于语义搜索的重新排序阶段：给定一个查询和一组由高效的第一阶段检索系统（如BM25或经过微调的单向量双编码器）检索出的潜在相关段落，对每个查询-段落对进行编码，并根据模型预测的分数按相关性降序对段落进行排序。

使用方法

以下是使用该模型的几种方式，可以通过Sentence-Transformers、FlagEmbedding或Huggingface Transformers实现。

使用Sentence-Transformers

首先安装库：pip install -U sentence-transformers。然后，可以按如下方式使用模型：

from sentence_transformers import CrossEncoder  

pairs = [('问题', '段落1'), ('问题', '段落2'), ('问题', '段落3')]  

model = CrossEncoder('antoinelouis/crossencoder-electra-base-french-mmarcoFR')  
scores = model.predict(pairs)  
print(scores)  

使用FlagEmbedding

首先安装库：pip install -U FlagEmbedding。然后，可以按如下方式使用模型：

from FlagEmbedding import FlagReranker  

pairs = [('问题', '段落1'), ('问题', '段落2'), ('问题', '段落3')]  

reranker = FlagReranker('antoinelouis/crossencoder-electra-base-french-mmarcoFR')  
scores = reranker.compute_score(pairs)  
print(scores)  

使用HuggingFace Transformers

首先安装库：pip install -U transformers。然后，可以按如下方式使用模型：

import torch  
from transformers import AutoTokenizer, AutoModelForSequenceClassification  

pairs = [('问题', '段落1'), ('问题', '段落2'), ('问题', '段落3')]  

tokenizer = AutoTokenizer.from_pretrained('antoinelouis/crossencoder-electra-base-french-mmarcoFR')  
model = AutoModelForSequenceClassification.from_pretrained('antoinelouis/crossencoder-electra-base-french-mmarcoFR')  
model.eval()  

with torch.no_grad():  
    inputs = tokenizer(pairs, padding=True, truncation=True, return_tensors='pt', max_length=512)  
    scores = model(**inputs, return_dict=True).logits.view(-1, ).float()  
print(scores)  

评估

模型在mMARCO-fr的较小开发集上进行评估，该数据集包含6,980个查询，每个查询需要从包含正例和ColBERTv2硬负例的1000个段落集合中进行重新排序。我们报告了平均倒数排名（MRR）和不同截断点的召回率（R@k）。要了解其与其他法语神经检索模型的比较，请查看DécouvrIR排行榜。

训练

数据

我们使用来自mMARCO数据集的法语训练样本，这是MS MARCO的多语言机器翻译版本，包含880万段落和53.9万训练查询。我们没有使用官方数据集提供的BM25负例，而是从12个不同的密集检索器中挖掘更难的负例，使用msmarco-hard-negatives蒸馏数据集。最终，我们采样了260万训练三元组（查询，段落，相关性），正负样本比例为1（即50%的样本对是相关的，50%是不相关的）。

实现

模型从dbmdz/electra-base-french-europeana-cased-discriminator检查点初始化，并通过二元交叉熵损失进行优化（如monoBERT）。在一块80GB NVIDIA H100 GPU上微调20k步，使用AdamW优化器，批量大小为128，恒定学习率为2e-5。我们将拼接后的问题-段落对的最大序列长度设置为256个标记。使用sigmoid函数将分数限制在0到1之间。

引用

@online{louis2024decouvrir,  
	author    = 'Antoine Louis',  
	title     = 'DécouvrIR: 法语信息检索模型鲁棒性评估基准',  
	publisher = 'Hugging Face',  
	month     = '三月',  
	year      = '2024',  
	url       = 'https://huggingface.co/spaces/antoinelouis/decouvrir',  
}