许可证：bigscience-bloom-rail-1.0
数据集：

• unicamp-dl/mmarco
• rajpurkar/squad
  语言：
• 法语
• 英语
  任务标签：文本排序
  基础模型：
• cmarkea/bloomz-3b-dpo-chat

Bloomz-3b 重排序模型

本重排序模型基于cmarkea/bloomz-3b-dpo-chat模型构建，旨在衡量问题（查询）与上下文之间的语义相关性。通过标准化评分，它有助于筛选开放域问答（ODQA）场景中检索器输出的查询/上下文匹配结果，并以比检索器更高效的建模方式重新排序结果。但由于其高计算成本，此类建模方式不适合直接用于数据库搜索。

该模型设计为语言无关，支持法语和英语。因此，它能在跨语言场景中有效评分，且不受单语言场景（英语或法语）行为的影响。

数据集

训练数据集由mMARCO数据集（包含查询/正例/困难负例三元组）和SQuAD的"train"拆分数据（通过将同一主题但不同查询集的上下文作为困难负例生成三元组）组成。最终将三元组展平为查询/上下文句子对，正例标记为1，负例标记为0。每对中的查询和上下文语言随机均匀选择法语或英语。

评估

使用SQuAD的"validation"拆分评估模型性能。选取每个段落的第一个问题及其对应段落（应被Oracle模型排为Top-1的上下文），其他同主题不匹配的上下文视为困难负例。评估语料包含1204个待排序的查询/上下文对。

同语言评估（法语/法语）

跨语言评估（法语/英语）

实验表明跨语言场景对模型行为影响较小。若用于重排序和过滤检索器的Top-K结果，可设置0.8的阈值过滤上下文，从而减少RAG类应用中的噪声问题。

使用方法

以下示例基于Transformers库的Pipeline API：

from transformers import pipeline  

reranker = pipeline(  
    task='text-classification',  
    model='cmarkea/bloomz-3b-reranking',  
    top_k=None  
)  

query: str  
contexts: List[str]  

similarities = reranker(  
    [  
        dict(  
            text=context,  # 模型训练时上下文在`text`参数  
            text_pair=query # 查询在`text_pair`参数  
        )  
        for context in contexts  
    ]  
)  

score_label_1 = [  
    next(item['score'] for item in entry if item['label'] == 'LABEL_1')   
    for entry in similarities  
]  
contexts_reranked = sorted(  
    zip(score_label_1, contexts),  
    key=lambda x: x[0],  
    reverse=True  
)  

score, contexts_cleaned = zip(  
    *filter(  
        lambda x: x[0] >= 0.8,  
        contexts_reranked  
    )  
)  

引用

@online{DeBloomzReranking,  
  AUTHOR = {Cyrile Delestre},  
  ORGANIZATION = {Crédit Mutuel Arkéa},  
  URL = {https://huggingface.co/cmarkea/bloomz-3b-reranking},  
  YEAR = {2024},  
  KEYWORDS = {NLP ; Transformers ; LLM ; Bloomz},  
}