license: bigscience-bloom-rail-1.0 datasets:

• unicamp-dl/mmarco
• rajpurkar/squad language:
• fr
• en pipeline_tag: text-ranking

Bloomz-560m 重排序模型

本重排序模型基于cmarkea/bloomz-560m-dpo-chat模型构建，旨在衡量问题（查询）与上下文之间的语义相关性。通过标准化评分机制，该模型可帮助筛选开放域问答（ODQA）场景中检索器输出的查询/上下文匹配结果，并以比检索器更高效的建模方式重新排序结果。但受限于计算成本，此类建模方式不适合直接用于数据库搜索。

作为语言无关模型，本产品支持法语和英语双语处理。其独特优势在于跨语言评分时不受单语环境（英语或法语）行为影响，能保持稳定表现。

训练数据

训练集由mMARCO数据集（包含查询/正例/困难负例三元组）和SQuAD训练集（经处理形成类似三元组）组成。针对SQuAD数据，我们采用同主题但不同问题集的上下文作为困难负例，确保负例样本与查询主题相关但不包含答案。

最终将三元组展开为查询/上下文句对，正例标记为1，负例标记为0。每个句对中的查询和上下文语言均随机均匀选择法语或英语。

性能评估

使用SQuAD验证集进行评估，选取每段落首问及其对应段落（应排名Top-1的Oracle上下文）。评估语料包含1204个查询/上下文对，按主题统计如下：

同语言评估（法语/法语）

跨语言评估（法语查询/英语上下文）

评估显示跨语言场景对模型性能影响微弱。建议在RAG类应用中设置0.8的阈值过滤检索器输出，可有效降低上下文噪声。

使用指南

以下示例基于Transformers库的Pipeline API：

from transformers import pipeline

reranker = pipeline(
    task='text-classification',
    model='cmarkea/bloomz-560m-reranking',
    top_k=None
)

query: str
contexts: List[str]

similarities = reranker(
    [
        dict(
            text=context, # 模型训练时上下文置于`text`参数
            text_pair=query # 查询置于`text_pair`参数
        )
        for context in contexts
    ]
)

score_label_1 = [
    next(item['score'] for item in entry if item['label'] == 'LABEL_1') 
    for entry in similarities
]
contexts_reranked = sorted(
    zip(score_label_1, contexts),
    key=lambda x: x[0],
    reverse=True
)

score, contexts_cleaned = zip(
    *filter(
        lambda x: x[0] >= 0.8,
        contexts_reranked
    )
)

引用

@online{DeBloomzReranking,
  作者 = {Cyrile Delestre},
  机构 = {法国阿凯亚信贷集团},
  网址 = {https://huggingface.co/cmarkea/bloomz-3b-reranking},
  年份 = {2024},
  关键词 = {自然语言处理；Transformer模型；大语言模型；Bloomz},
}