language:

• en license: apache-2.0 tags:
• sentence-transformers
• cross-encoder
• generated_from_trainer
• dataset_size:2223773
• loss:BinaryCrossEntropyLoss base_model: cross-encoder/ms-marco-MiniLM-L6-v2 pipeline_tag: text-ranking library_name: sentence-transformers metrics:
• map
• mrr@10
• ndcg@10 model-index:
• name: 基于GooAQ训练的ModernBERT-base模型 results:
  • task: type: 交叉编码器重排序 name: 交叉编码器重排序 dataset: name: gooaq开发集 type: gooaq-dev metrics:
    • type: 平均精度均值(map) value: 0.638 name: 平均精度均值
    • type: 前10命中率(mrr@10) value: 0.6361 name: 前10命中率
    • type: 标准化折损累积增益(ndcg@10) value: 0.6822 name: 标准化折损累积增益
  • task: type: 交叉编码器重排序 name: 交叉编码器重排序 dataset: name: NanoMSMARCO R100 type: NanoMSMARCO_R100 metrics:
    • type: 平均精度均值(map) value: 0.5437 name: 平均精度均值
    • type: 前10命中率(mrr@10) value: 0.5348 name: 前10命中率
    • type: 标准化折损累积增益(ndcg@10) value: 0.606 name: 标准化折损累积增益
  • task: type: 交叉编码器重排序 name: 交叉编码器重排序 dataset: name: NanoNFCorpus R100 type: NanoNFCorpus_R100 metrics:
    • type: 平均精度均值(map) value: 0.3885 name: 平均精度均值
    • type: 前10命中率(mrr@10) value: 0.563 name: 前10命中率
    • type: 标准化折损累积增益(ndcg@10) value: 0.4077 name: 标准化折损累积增益
  • task: type: 交叉编码器重排序 name: 交叉编码器重排序 dataset: name: NanoNQ R100 type: NanoNQ_R100 metrics:
    • type: 平均精度均值(map) value: 0.4626 name: 平均精度均值
    • type: 前10命中率(mrr@10) value: 0.4628 name: 前10命中率
    • type: 标准化折损累积增益(ndcg@10) value: 0.5091 name: 标准化折损累积增益
  • task: type: 交叉编码器NanoBEIR评估 name: 交叉编码器NanoBEIR评估 dataset: name: NanoBEIR R100均值 type: NanoBEIR_R100_mean metrics:
    • type: 平均精度均值(map) value: 0.4649 name: 平均精度均值
    • type: 前10命中率(mrr@10) value: 0.5202 name: 前10命中率
    • type: 标准化折损累积增益(ndcg@10) value: 0.5076 name: 标准化折损累积增益

基于GooAQ训练的ModernBERT-base模型

这是一个从cross-encoder/ms-marco-MiniLM-L6-v2微调而来的交叉编码器模型，使用sentence-transformers库开发。它能够计算文本对的得分，可用于文本重排序和语义搜索。

模型详情

模型描述

• 模型类型: 交叉编码器
• 基础模型: cross-encoder/ms-marco-MiniLM-L6-v2
• 最大序列长度: 512个标记
• 输出标签数量: 1个标签
• 语言: 英语
• 许可证: apache-2.0

模型来源

• 文档: Sentence Transformers文档
• 文档: 交叉编码器文档
• 代码库: GitHub上的Sentence Transformers
• Hugging Face: Hugging Face上的交叉编码器

使用方法

直接使用(Sentence Transformers)

首先安装Sentence Transformers库：

pip install -U sentence-transformers

然后可以加载此模型并进行推理。

from sentence_transformers import CrossEncoder

# 从🤗 Hub下载
model = CrossEncoder("ayushexel/reranker-ms-marco-MiniLM-L6-v2-gooaq-bce")
# 获取文本对的得分
pairs = [
    ['左臂突然剧痛意味着什么？', '左臂疼痛可能意味着您有骨骼或关节损伤、神经受压或心脏问题。继续阅读以了解更多关于左臂疼痛的原因以及哪些症状可能预示着严重问题。'],
    ['左臂突然剧痛意味着什么？', "本文中 无论是跳动、隐痛还是剧痛，每个人都经历过疼痛。这种不适感是一个危险信号。腋下疼痛可能意味着您只是拉伤了肌肉，可以通过冰敷和休息缓解。也可能是更严重情况的征兆，如感染或乳腺癌。"],
    ['左臂突然剧痛意味着什么？', '剧痛：当您感到突然、强烈的疼痛时，这属于"剧痛"。剧痛也可以用切割和射击等词汇描述。刺痛：像剧痛一样，刺痛突然而强烈地发生。然而，刺痛可能会消退并多次复发。'],
    ['左臂突然剧痛意味着什么？', '症状。颈部椎间盘突出可能导致颈部疼痛、放射至手臂的疼痛、肩部疼痛以及手臂或手部的麻木或刺痛感。疼痛的性质和类型可以从难以定位的钝痛、隐痛到容易定位的剧烈、灼烧痛不等。'],
    ['左臂突然剧痛意味着什么？', '手臂或肩部的任何部位的损伤或创伤，包括骨折、关节脱位以及肌肉拉伤和扭伤，是手臂疼痛的常见原因。有时影响身体其他器官的疾病，如外周血管疾病或关节炎，可能是手臂疼痛的原因。'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# 或者根据与单个文本的相似性对不同的文本进行排序
ranks = model.rank(
    '左臂突然剧痛意味着什么？',
    [
        '左臂疼痛可能意味着您有骨骼或关节损伤、神经受压或心脏问题。继续阅读以了解更多关于左臂疼痛的原因以及哪些症状可能预示着严重问题。',
        "本文中 无论是跳动、隐痛还是剧痛，每个人都经历过疼痛。这种不适感是一个危险信号。腋下疼痛可能意味着您只是拉伤了肌肉，可以通过冰敷和休息缓解。也可能是更严重情况的征兆，如感染或乳腺癌。",
        '剧痛：当您感到突然、强烈的疼痛时，这属于"剧痛"。剧痛也可以用切割和射击等词汇描述。刺痛：像剧痛一样，刺痛突然而强烈地发生。然而，刺痛可能会消退并多次复发。',
        '症状。颈部椎间盘突出可能导致颈部疼痛、放射至手臂的疼痛、肩部疼痛以及手臂或手部的麻木或刺痛感。疼痛的性质和类型可以从难以定位的钝痛、隐痛到容易定位的剧烈、灼烧痛不等。',
        '手臂或肩部的任何部位的损伤或创伤，包括骨折、关节脱位以及肌肉拉伤和扭伤，是手臂疼痛的常见原因。有时影响身体其他器官的疾病，如外周血管疾病或关节炎，可能是手臂疼痛的原因。',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

评估

评估指标

交叉编码器重排序

• 数据集: gooaq-dev
• 使用CrossEncoderRerankingEvaluator评估，参数如下：

  {
      "at_k": 10,
      "always_rerank_positives": false
  }
  

交叉编码器重排序

• 数据集: NanoMSMARCO_R100, NanoNFCorpus_R100 和 NanoNQ_R100
• 使用CrossEncoderRerankingEvaluator评估，参数如下：

  {
      "at_k": 10,
      "always_rerank_positives": true
  }
  

交叉编码器Nano BEIR评估

• 数据集: NanoBEIR_R100_mean
• 使用CrossEncoderNanoBEIREvaluator评估，参数如下：

  {
      "dataset_names": [
          "msmarco",
          "nfcorpus",
          "nq"
      ],
      "rerank_k": 100,
      "at_k": 10,
      "always_rerank_positives": true
  }
  

训练详情

训练数据集

未命名数据集

• 大小: 2,223,773个训练样本
• 列: question, answer, 和 label
• 基于前1000个样本的近似统计：

  	问题	答案	标签
  类型	字符串	字符串	整数
  详情	最小: 19个字符 平均: 45.87个字符 最大: 88个字符	最小: 61个字符 平均: 253.13个字符 最大: 374个字符	0: ~86.70% 1: ~13.30%

• 样本:

  问题	答案	标签
  左臂突然剧痛意味着什么？	左臂疼痛 左臂疼痛可能意味着您有骨骼或关节损伤、神经受压或心脏问题。继续阅读以了解更多关于左臂疼痛的原因以及哪些症状可能预示着严重问题。	1
  左臂突然剧痛意味着什么？	本文中 无论是跳动、隐痛还是剧痛，每个人都经历过疼痛。这种不适感是一个危险信号。腋下疼痛可能意味着您只是拉伤了肌肉，可以通过冰敷和休息缓解。也可能是更严重情况的征兆，如感染或乳腺癌。	0
  左臂突然剧痛意味着什么？	剧痛：当您感到突然、强烈的疼痛时，这属于"剧痛"。剧痛也可以用切割和射击等词汇描述。刺痛：像剧痛一样，刺痛突然而强烈地发生。然而，刺痛可能会消退并多次复发。	0

• 损失函数: BinaryCrossEntropyLoss，参数如下：

  {
      "activation_fn": "torch.nn.modules.linear.Identity",
      "pos_weight": 7
  }
  

训练超参数

非默认超参数

• eval_strategy: steps
• per_device_train_batch_size: 2048
• per_device_eval_batch_size: 2048
• learning_rate: 2e-05
• warmup_ratio: 0.1
• seed: 12
• bf16: True
• dataloader_num_workers: 12
• load_best_model_at_end: True

训练日志

• 加粗行表示保存的检查点。

框架版本

• Python: 3.11.0
• Sentence Transformers: 4.0.1
• Transformers: 4.50.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.5.2
• Datasets: 3.5.0
• Tokenizers: 0.21.1

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}