language:

• en license: apache-2.0 tags:
• sentence-transformers
• cross-encoder
• generated_from_trainer
• dataset_size:11456701
• loss:BinaryCrossEntropyLoss base_model: nreimers/MiniLM-L6-H384-uncased pipeline_tag: text-ranking library_name: sentence-transformers metrics:
• map
• mrr@10
• ndcg@10 model-index:
• name: 基于nreimers/MiniLM-L6-H384-uncased的交叉编码器 results:
  • task: type: cross-encoder-reranking name: 交叉编码器重排序 dataset: name: gooaq开发集 type: gooaq-dev metrics:
    • type: map value: 0.4719 name: 平均准确率均值
    • type: mrr@10 value: 0.4714 name: 前10命中率倒数均值
    • type: ndcg@10 value: 0.5149 name: 标准化折损累积增益@10
  • task: type: cross-encoder-reranking name: 交叉编码器重排序 dataset: name: NanoMSMARCO R100 type: NanoMSMARCO_R100 metrics:
    • type: map value: 0.3405 name: 平均准确率均值
    • type: mrr@10 value: 0.3251 name: 前10命中率倒数均值
    • type: ndcg@10 value: 0.409 name: 标准化折损累积增益@10
  • task: type: cross-encoder-reranking name: 交叉编码器重排序 dataset: name: NanoNFCorpus R100 type: NanoNFCorpus_R100 metrics:
    • type: map value: 0.3375 name: 平均准确率均值
    • type: mrr@10 value: 0.5157 name: 前10命中率倒数均值
    • type: ndcg@10 value: 0.3596 name: 标准化折损累积增益@10
  • task: type: cross-encoder-reranking name: 交叉编码器重排序 dataset: name: NanoNQ R100 type: NanoNQ_R100 metrics:
    • type: map value: 0.3251 name: 平均准确率均值
    • type: mrr@10 value: 0.3406 name: 前10命中率倒数均值
    • type: ndcg@10 value: 0.4065 name: 标准化折损累积增益@10
  • task: type: cross-encoder-nano-beir name: 交叉编码器Nano BEIR dataset: name: NanoBEIR R100均值 type: NanoBEIR_R100_mean metrics:
    • type: map value: 0.3344 name: 平均准确率均值
    • type: mrr@10 value: 0.3938 name: 前10命中率倒数均值
    • type: ndcg@10 value: 0.3917 name: 标准化折损累积增益@10

基于nreimers/MiniLM-L6-H384-uncased的交叉编码器

这是一个从nreimers/MiniLM-L6-H384-uncased微调而来的交叉编码器模型，使用了sentence-transformers库。它计算文本对的分数，可用于文本重排序和语义搜索。

模型详情

模型描述

• 模型类型: 交叉编码器
• 基础模型: nreimers/MiniLM-L6-H384-uncased
• 最大序列长度: 512个标记
• 输出标签数量: 1个标签

• 语言: en
• 许可证: apache-2.0

模型来源

• 文档: Sentence Transformers文档
• 文档: 交叉编码器文档
• 仓库: GitHub上的Sentence Transformers
• Hugging Face: Hugging Face上的交叉编码器

使用方法

直接使用（Sentence Transformers）

首先安装Sentence Transformers库：

pip install -U sentence-transformers

然后可以加载此模型并运行推理。

from sentence_transformers import CrossEncoder

# 从🤗 Hub下载
model = CrossEncoder("ayushexel/reranker-MiniLM-L6-H384-uncased-gooaq-5-epoch-1995000")
# 获取文本对的分数
pairs = [
    ['2020年民主党总统辩论是什么时候？', '主要候选人 提名将在2020年民主党全国代表大会上正式确定，暂定于2020年8月17日至20日在威斯康星州密尔沃基举行。'],
    ['2020年民主党总统辩论是什么时候？', '主要候选人 截至2020年6月8日，前副总统乔·拜登通过积累足够代表票数成为推定总统提名人。'],
    ['2020年民主党总统辩论是什么时候？', '2019年3月5日，布隆伯格宣布他不会在2020年竞选总统；相反，他鼓励民主党“提名一位民主党人，他将处于最有利的位置击败唐纳德·特朗普”。'],
    ['2020年民主党总统辩论是什么时候？', '基于2010年人口普查的2020年选举地图。2020年美国总统选举定于2020年11月3日星期二举行。这将是第59届四年一度的总统选举。'],
    ['2020年民主党总统辩论是什么时候？', '共有29位主要民主党候选人。其中，23位候选人参加了至少一场辩论。只有乔·拜登和伯尼·桑德斯参加了所有辩论；皮特·布蒂吉格、艾米·克洛布查和伊丽莎白·沃伦参加了除一场外的所有辩论。'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# 或者根据与单个文本的相似性对不同的文本进行排序
ranks = model.rank(
    '2020年民主党总统辩论是什么时候？',
    [
        '主要候选人 提名将在2020年民主党全国代表大会上正式确定，暂定于2020年8月17日至20日在威斯康星州密尔沃基举行。',
        '主要候选人 截至2020年6月8日，前副总统乔·拜登通过积累足够代表票数成为推定总统提名人。',
        '2019年3月5日，布隆伯格宣布他不会在2020年竞选总统；相反，他鼓励民主党“提名一位民主党人，他将处于最有利的位置击败唐纳德·特朗普”。',
        '基于2010年人口普查的2020年选举地图。2020年美国总统选举定于2020年11月3日星期二举行。这将是第59届四年一度的总统选举。',
        '共有29位主要民主党候选人。其中，23位候选人参加了至少一场辩论。只有乔·拜登和伯尼·桑德斯参加了所有辩论；皮特·布蒂吉格、艾米·克洛布查和伊丽莎白·沃伦参加了除一场外的所有辩论。',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

评估

指标

交叉编码器重排序

• 数据集: gooaq-dev
• 使用CrossEncoderRerankingEvaluator评估，参数如下：

  {
      "at_k": 10,
      "always_rerank_positives": false
  }
  

交叉编码器重排序

• 数据集: NanoMSMARCO_R100, NanoNFCorpus_R100 和 NanoNQ_R100
• 使用CrossEncoderRerankingEvaluator评估，参数如下：

  {
      "at_k": 10,
      "always_rerank_positives": true
  }
  

交叉编码器Nano BEIR

• 数据集: NanoBEIR_R100_mean
• 使用CrossEncoderNanoBEIREvaluator评估，参数如下：

  {
      "dataset_names": [
          "msmarco",
          "nfcorpus",
          "nq"
      ],
      "rerank_k": 100,
      "at_k": 10,
      "always_rerank_positives": true
  }
  

训练详情

训练数据集

未命名数据集

• 大小: 11,456,701个训练样本
• 列: question, answer, 和 label
• 基于前1000个样本的近似统计：

  	question	answer	label
  type	string	string	int
  details	最小: 18个字符 平均: 43.15个字符 最大: 83个字符	最小: 59个字符 平均: 257.34个字符 最大: 388个字符	0: ~82.40% 1: ~17.60%

• 样本:

  question	answer	label
  2020年民主党总统辩论是什么时候？	主要候选人 提名将在2020年民主党全国代表大会上正式确定，暂定于2020年8月17日至20日在威斯康星州密尔沃基举行。	1
  2020年民主党总统辩论是什么时候？	主要候选人 截至2020年6月8日，前副总统乔·拜登通过积累足够代表票数成为推定总统提名人。	0
  2020年民主党总统辩论是什么时候？	2019年3月5日，布隆伯格宣布他不会在2020年竞选总统；相反，他鼓励民主党“提名一位民主党人，他将处于最有利的位置击败唐纳德·特朗普”。	0

• 损失函数: BinaryCrossEntropyLoss，参数如下：

  {
      "activation_fn": "torch.nn.modules.linear.Identity",
      "pos_weight": 5
  }
  

训练超参数

非默认超参数

• eval_strategy: steps
• per_device_train_batch_size: 256
• per_device_eval_batch_size: 256
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• seed: 12
• bf16: True
• dataloader_num_workers: 12
• load_best_model_at_end: True

所有超参数

训练日志