language:

• en license: apache-2.0 tags:
• sentence-transformers
• cross-encoder
• generated_from_trainer
• dataset_size:11456701
• loss:BinaryCrossEntropyLoss base_model: answerdotai/ModernBERT-base pipeline_tag: text-ranking library_name: sentence-transformers metrics:
• map
• mrr@10
• ndcg@10 model-index:
• name: 基于answerdotai/ModernBERT-base的交叉编码器 results:
  • task: type: cross-encoder-reranking name: 交叉编码器重排序 dataset: name: gooaq开发集 type: gooaq-dev metrics:
    • type: map value: 0.4829 name: 平均准确率
    • type: mrr@10 value: 0.4823 name: 前10命中率倒数
    • type: ndcg@10 value: 0.5236 name: 标准化折损累积增益@10
  • task: type: cross-encoder-reranking name: 交叉编码器重排序 dataset: name: NanoMSMARCO R100 type: NanoMSMARCO_R100 metrics:
    • type: map value: 0.4301 name: 平均准确率
    • type: mrr@10 value: 0.4149 name: 前10命中率倒数
    • type: ndcg@10 value: 0.4928 name: 标准化折损累积增益@10
  • task: type: cross-encoder-reranking name: 交叉编码器重排序 dataset: name: NanoNFCorpus R100 type: NanoNFCorpus_R100 metrics:
    • type: map value: 0.3684 name: 平均准确率
    • type: mrr@10 value: 0.4482 name: 前10命中率倒数
    • type: ndcg@10 value: 0.3782 name: 标准化折损累积增益@10
  • task: type: cross-encoder-reranking name: 交叉编码器重排序 dataset: name: NanoNQ R100 type: NanoNQ_R100 metrics:
    • type: map value: 0.4224 name: 平均准确率
    • type: mrr@10 value: 0.422 name: 前10命中率倒数
    • type: ndcg@10 value: 0.4617 name: 标准化折损累积增益@10
  • task: type: cross-encoder-nano-beir name: 交叉编码器Nano BEIR dataset: name: NanoBEIR R100均值 type: NanoBEIR_R100_mean metrics:
    • type: map value: 0.407 name: 平均准确率
    • type: mrr@10 value: 0.4284 name: 前10命中率倒数
    • type: ndcg@10 value: 0.4442 name: 标准化折损累积增益@10

基于answerdotai/ModernBERT-base的交叉编码器

这是一个从answerdotai/ModernBERT-base微调而来的交叉编码器模型，使用sentence-transformers库开发。它计算文本对的分数，可用于文本重排序和语义搜索。

模型详情

模型描述

• 模型类型: 交叉编码器
• 基础模型: answerdotai/ModernBERT-base
• 最大序列长度: 8192个标记
• 输出标签数量: 1个标签

• 语言: en
• 许可证: apache-2.0

模型来源

• 文档: Sentence Transformers文档
• 文档: 交叉编码器文档
• 仓库: GitHub上的Sentence Transformers
• Hugging Face: Hugging Face上的交叉编码器

使用方法

直接使用（Sentence Transformers）

首先安装Sentence Transformers库：

pip install -U sentence-transformers

然后可以加载此模型并运行推理。

from sentence_transformers import CrossEncoder

# 从🤗 Hub下载
model = CrossEncoder("ayushexel/reranker-ModernBERT-base-gooaq-1-epoch-1995000")
# 获取文本对的分数
pairs = [
    ['PUBG手游中有Beryl M762吗？', 'Beryl M762是PUBG手游中一款多用途突击步枪，比AKM有更多配件槽，使用7.62弹药。Beryl M762的高伤害使其成为玩家的可行选择。'],
    ['PUBG手游中有Beryl M762吗？', '大多数人在玩过PUBG手游后玩PUBG手游精简版时注意到的最大区别是地图的可用性。PUBG手游有四个地图：Erangel、Miramar、Sanhok和Vikendi。PUBG手游精简版只有两个地图：经典模式中的Erangel和街机模式中的War。'],
    ['PUBG手游中有Beryl M762吗？', 'PUBG手游精简版是PUBG手游的简化版本，专为低端设备玩家开发。目前该游戏仅适用于安卓设备，无法在iOS设备上下载。'],
    ['PUBG手游中有Beryl M762吗？', '使用NoxPlayer在PC上下载并玩PUBG手游！PUBG手游是由腾讯开发的一款大逃杀FPS游戏。它与Garena Free Fire和Call of Duty手游类似。NoxPlayer是在PC上玩PUBG手游的最佳模拟器。'],
    ['PUBG手游中有Beryl M762吗？', "你能用手柄玩PUBG手游吗？...对于PUBG手游，除了移动之外，游戏没有官方的手柄支持，这意味着你可以将蓝牙手柄连接到移动设备并移动，但按钮不会有任何映射动作。"],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# 或根据与单个文本的相似性对不同的文本进行排序
ranks = model.rank(
    'PUBG手游中有Beryl M762吗？',
    [
        'Beryl M762是PUBG手游中一款多用途突击步枪，比AKM有更多配件槽，使用7.62弹药。Beryl M762的高伤害使其成为玩家的可行选择。',
        '大多数人在玩过PUBG手游后玩PUBG手游精简版时注意到的最大区别是地图的可用性。PUBG手游有四个地图：Erangel、Miramar、Sanhok和Vikendi。PUBG手游精简版只有两个地图：经典模式中的Erangel和街机模式中的War。',
        'PUBG手游精简版是PUBG手游的简化版本，专为低端设备玩家开发。目前该游戏仅适用于安卓设备，无法在iOS设备上下载。',
        '使用NoxPlayer在PC上下载并玩PUBG手游！PUBG手游是由腾讯开发的一款大逃杀FPS游戏。它与Garena Free Fire和Call of Duty手游类似。NoxPlayer是在PC上玩PUBG手游的最佳模拟器。',
        "你能用手柄玩PUBG手游吗？...对于PUBG手游，除了移动之外，游戏没有官方的手柄支持，这意味着你可以将蓝牙手柄连接到移动设备并移动，但按钮不会有任何映射动作。",
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

评估

指标

交叉编码器重排序

• 数据集: gooaq-dev
• 使用CrossEncoderRerankingEvaluator评估，参数如下：

  {
      "at_k": 10,
      "always_rerank_positives": false
  }
  

交叉编码器重排序

• 数据集: NanoMSMARCO_R100, NanoNFCorpus_R100 和 NanoNQ_R100
• 使用CrossEncoderRerankingEvaluator评估，参数如下：

  {
      "at_k": 10,
      "always_rerank_positives": true
  }
  

交叉编码器Nano BEIR

• 数据集: NanoBEIR_R100_mean
• 使用CrossEncoderNanoBEIREvaluator评估，参数如下：

  {
      "dataset_names": [
          "msmarco",
          "nfcorpus",
          "nq"
      ],
      "rerank_k": 100,
      "at_k": 10,
      "always_rerank_positives": true
  }
  

训练详情

训练数据集

未命名数据集

• 大小: 11,456,701个训练样本
• 列: question, answer, 和 label
• 基于前1000个样本的近似统计：

  	问题	答案	标签
  类型	字符串	字符串	整数
  详情	最小: 20个字符 平均: 44.38个字符 最大: 82个字符	最小: 57个字符 平均: 253.74个字符 最大: 358个字符	0: ~82.70% 1: ~17.30%

• 样本:

  问题	答案	标签
  PUBG手游中有Beryl M762吗？	Beryl M762是PUBG手游中一款多用途突击步枪，比AKM有更多配件槽，使用7.62弹药。Beryl M762的高伤害使其成为玩家的可行选择。	1
  PUBG手游中有Beryl M762吗？	大多数人在玩过PUBG手游后玩PUBG手游精简版时注意到的最大区别是地图的可用性。PUBG手游有四个地图：Erangel、Miramar、Sanhok和Vikendi。PUBG手游精简版只有两个地图：经典模式中的Erangel和街机模式中的War。	0
  PUBG手游中有Beryl M762吗？	PUBG手游精简版是PUBG手游的简化版本，专为低端设备玩家开发。目前该游戏仅适用于安卓设备，无法在iOS设备上下载。	0

• 损失函数: BinaryCrossEntropyLoss，参数如下：

  {
      "activation_fn": "torch.nn.modules.linear.Identity",
      "pos_weight": 5
  }
  

训练超参数

非默认超参数

• eval_strategy: steps
• per_device_train_batch_size: 256
• per_device_eval_batch_size: 256
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• seed: 12
• bf16: True
• dataloader_num_workers: 12
• load_best_model_at_end: True

框架版本

• Python: 3.11.0
• Sentence Transformers: 4.0.1
• Transformers: 4.50.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.5.2
• Datasets: 3.5.0
• Tokenizers: 0.21.1

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}