语言:

• 英文 标签:
• 句子转换器
• 交叉编码器
• 训练生成
• 数据集大小:1990000
• 损失函数:二元交叉熵损失 数据集:
• sentence-transformers/msmarco 流水线标签: 文本排序 库名称: sentence-transformers 评估指标:
• 平均精度(map)
• 前10命中率(mrr@10)
• 前10归一化折损累积增益(ndcg@10) 模型索引:
• 名称: CrossEncoder 结果:
  • 任务: 类型: 交叉编码器重排序 名称: 交叉编码器重排序 数据集: 名称: NanoMSMARCO R100 类型: NanoMSMARCO_R100 指标:
    • 类型: map 值: 0.6439 名称: 平均精度
    • 类型: mrr@10 值: 0.6382 名称: 前10命中率
    • 类型: ndcg@10 值: 0.7008 名称: 前10归一化折损累积增益
  • 任务: 类型: 交叉编码器重排序 名称: 交叉编码器重排序 数据集: 名称: NanoNFCorpus R100 类型: NanoNFCorpus_R100 指标:
    • 类型: map 值: 0.3324 名称: 平均精度
    • 类型: mrr@10 值: 0.5372 名称: 前10命中率
    • 类型: ndcg@10 值: 0.3732 名称: 前10归一化折损累积增益
  • 任务: 类型: 交叉编码器重排序 名称: 交叉编码器重排序 数据集: 名称: NanoNQ R100 类型: NanoNQ_R100 指标:
    • 类型: map 值: 0.6174 名称: 平均精度
    • 类型: mrr@10 值: 0.6412 名称: 前10命中率
    • 类型: ndcg@10 值: 0.6888 名称: 前10归一化折损累积增益
  • 任务: 类型: 交叉编码器Nano BEIR 名称: 交叉编码器Nano BEIR 数据集: 名称: NanoBEIR R100均值 类型: NanoBEIR_R100_mean 指标:
    • 类型: map 值: 0.5312 名称: 平均精度
    • 类型: mrr@10 值: 0.6055 名称: 前10命中率
    • 类型: ndcg@10 值: 0.5876 名称: 前10归一化折损累积增益

CrossEncoder

这是一个基于sentence-transformers库在msmarco数据集上训练的交叉编码器模型。它计算文本对的分数，可用于文本重排序和语义搜索。

模型详情

模型描述

• 模型类型: 交叉编码器
• 最大序列长度: 8192个标记
• 输出标签数量: 1个标签
• 训练数据集:
  • msmarco
• 语言: 英文

模型来源

• 文档: Sentence Transformers文档
• 文档: 交叉编码器文档
• 仓库: GitHub上的Sentence Transformers
• Hugging Face: Hugging Face上的交叉编码器

使用方式

直接使用(Sentence Transformers)

首先安装Sentence Transformers库:

pip install -U sentence-transformers

然后可以加载此模型并运行推理。

from sentence_transformers import CrossEncoder

# 从🤗 Hub下载
model = CrossEncoder("skfrost19/reranker-gte-multilingual-base-msmarco-bce-ep-2")
# 获取文本对的分数
pairs = [
    ['颞下颌关节紊乱患者可能有哪些症状', '颞下颌关节紊乱患者有一长串症状，包括慢性疼痛(https://youtu.be/SvMaJb8o2RI)，其中许多与帕金森病(PD)症状相同。'],
    ['什么是热保护器', '英雄一词源自希腊语á¼¥Ï\x81Ï\x89Ï\x82(hÄ\x93rÅ\x8ds)，意为英雄、战士，特指像赫拉克勒斯这样具有神裔血统或后来被授予神誉的人。字面意思是保护者或防御者。'],
    ['使命召唤二战销量多少', '使命召唤3。使命召唤3是一款二战第一人称射击游戏，也是使命召唤系列的第三部作品。2006年11月7日发行，由Treyarch开发，是使命召唤系列首部非Infinity Ward开发的主要作品，也是首部未在PC平台发布的游戏。登陆PlayStation 2、PlayStation 3、Wii、Xbox和Xbox 360平台。'],
    ['冰箱冷藏室理想温度是多少', '冰箱保持略高于水冰点的温度。易腐食品储存的最佳温度范围是3至5°C(37至41°F)。制造商通常为冷藏室和冷冻室设置任意数字(例如1到9，从最暖到最冷)，但一般来说冷藏室3至5°C(37至41°F)、冷冻室-18°C(0°F)最为理想。'],
    ['什么是GSM报警系统', '当你第一次听说GSM报警系统时，脑海中可能会有这些疑问。GSM报警系统是通过GSM(全球移动通信系统)网络运行、无需电话线的报警系统。此外，当窃贼进入场所切断电话线时，GSM报警器不受影响仍能正常工作，因为它不需要固定电话线。因此这种安全报警器非常适合没有固定电话线或难以安装的地方。'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# 或根据与单个文本的相似性排序不同文本
ranks = model.rank(
    '颞下颌关节紊乱患者可能有哪些症状',
    [
        '颞下颌关节紊乱患者有一长串症状，包括慢性疼痛(https://youtu.be/SvMaJb8o2RI)，其中许多与帕金森病(PD)症状相同。',
        '英雄一词源自希腊语á¼¥Ï\x81Ï\x89Ï\x82(hÄ\x93rÅ\x8ds)，意为英雄、战士，特指像赫拉克勒斯这样具有神裔血统或后来被授予神誉的人。字面意思是保护者或防御者。',
        '使命召唤3。使命召唤3是一款二战第一人称射击游戏，也是使命召唤系列的第三部作品。2006年11月7日发行，由Treyarch开发，是使命召唤系列首部非Infinity Ward开发的主要作品，也是首部未在PC平台发布的游戏。登陆PlayStation 2、PlayStation 3、Wii、Xbox和Xbox 360平台。',
        '冰箱保持略高于水冰点的温度。易腐食品储存的最佳温度范围是3至5°C(37至41°F)。制造商通常为冷藏室和冷冻室设置任意数字(例如1到9，从最暖到最冷)，但一般来说冷藏室3至5°C(37至41°F)、冷冻室-18°C(0°F)最为理想。',
        '当你第一次听说GSM报警系统时，脑海中可能会有这些疑问。GSM报警系统是通过GSM(全球移动通信系统)网络运行、无需电话线的报警系统。此外，当窃贼进入场所切断电话线时，GSM报警器不受影响仍能正常工作，因为它不需要固定电话线。因此这种安全报警器非常适合没有固定电话线或难以安装的地方。',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

评估

指标

交叉编码器重排序

• 数据集: NanoMSMARCO_R100、NanoNFCorpus_R100和NanoNQ_R100
• 使用CrossEncoderRerankingEvaluator评估，参数如下:

  {
      "at_k": 10,
      "always_rerank_positives": true
  }
  

交叉编码器Nano BEIR

• 数据集: NanoBEIR_R100_mean
• 使用CrossEncoderNanoBEIREvaluator评估，参数如下:

  {
      "dataset_names": [
          "msmarco",
          "nfcorpus",
          "nq"
      ],
      "rerank_k": 100,
      "at_k": 10,
      "always_rerank_positives": true
  }
  

训练详情

训练数据集

msmarco

• 数据集: msmarco 版本 9e329ed
• 大小: 1,990,000个训练样本
• 列: query, passage, 和 score
• 基于前1000个样本的近似统计:

  	查询	段落	分数
  类型	字符串	字符串	浮点数
  详情	最小: 11字符 平均: 34.61字符 最大: 124字符	最小: 82字符 平均: 357.43字符 最大: 1034字符	最小: 0.0 平均: 0.49 最大: 1.0

• 样本:

  查询	段落	分数
  尾骨疼痛的原因是什么	尾骨损伤会导致尾骨区域疼痛不适(称为尾骨痛)。这些损伤可能导致尾骨挫伤、脱位或骨折。虽然愈合可能较慢，但大多数尾骨损伤可通过谨慎治疗得到控制。大多数尾骨损伤由尾骨区域的外伤引起。1 最常见的尾骨损伤原因是坐姿跌落至尾骨，通常是在坚硬表面上。2 直接打击尾骨，如接触性运动中发生的，也可能损伤尾骨。	1.0
  躯干侧屈涉及哪些肌肉	与腹外斜肌相同，但不同于腹外斜肌，它们在完全发育时不可见。功能:1 支撑腹壁，辅助强制呼吸，帮助增加腹内压，并与另一侧肌肉共同外展和旋转躯干。2 单侧收缩单独使躯干向该侧侧屈并向对侧旋转躯干。	0.0
  制动马力定义	当刹车灯不亮时，首先要检查的是第三刹车灯。如果它也不工作，可能是刹车灯开关、坏掉的保险丝或未插接的线束问题。拉起刹车踏板，如果灯熄灭，可能是开关未对齐或踏板位置错误。最后可能是电线短路。拔掉刹车灯开关，如果灯仍亮着，就是短路问题。	0.0

• 损失函数: BinaryCrossEntropyLoss 参数如下:

  {
      "activation_fn": "torch.nn.modules.linear.Identity",
      "pos_weight": null
  }
  

评估数据集

msmarco

• 数据集: msmarco 版本 9e329ed
• 大小: 10,000个评估样本
• 列: query, passage, 和 score
• 基于前1000个样本的近似统计:

  	查询	段落	分数
  类型	字符串	字符串	浮点数
  详情	最小: 9字符 平均: 33.72字符 最大: 193字符	最小: 55字符 平均: 353.35字符 最大: 895字符	最小: 0.0 平均: 0.5 最大: 1.0

• 样本:

  查询	段落	分数
  颞下颌关节紊乱患者可能有哪些症状	颞下颌关节紊乱患者有一长串症状，包括慢性疼痛(https://youtu.be/SvMaJb8o2RI)，其中许多与帕金森病(PD)症状相同。	1.0
  什么是热保护器	英雄一词源自希腊语á¼¥Ï\x81Ï\x89Ï\x82(hÄ\x93rÅ\x8ds)，意为英雄、战士，特指像赫拉克勒斯这样具有神裔血统或后来被授予神誉的人。字面意思是保护者或防御者。	0.0
  使命召唤二战销量多少	使命召唤3。使命召唤3是一款二战第一人称射击游戏，也是使命召唤系列的第三部作品。2006年11月7日发行，由Treyarch开发，是使命召唤系列首部非Infinity Ward开发的主要作品，也是首部未在PC平台发布的游戏。登陆PlayStation 2、PlayStation 3、Wii、Xbox和Xbox 360平台。	0.0

• 损失函数: BinaryCrossEntropyLoss 参数如下:

  {
      "activation_fn": "torch.nn.modules.linear.Identity",
      "pos_weight": null
  }
  

训练超参数

非默认超参数

• eval_strategy: 按步骤
• per_device_train_batch_size: 156
• per_device_eval_batch_size: 156
• learning_rate: 2e-05
• num_train_epochs: 2
• warmup_ratio: 0.1
• seed: 12
• bf16: 是
• dataloader_num_workers: 4
• load_best_model_at_end: 是

训练日志

• 加粗行表示保存的检查点。

框架版本

• Python: 3.11.5
• Sentence Transformers: 4.0.1
• Transformers: 4.50.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.6.0
• Datasets: 3.5.0
• Tokenizers: 0.21.1

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: 使用孪生BERT网络的句子嵌入",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "2019年自然语言处理实证方法会议论文集",
    month = "11",
    year = "2019",
    publisher = "计算语言学协会",
    url = "https://arxiv.org/abs/1908.10084",
}