标签:

• 句子转换器
• 交叉编码器
• 训练生成
• 数据集大小:72905
• 损失函数:多重负样本排序损失 基础模型: BAAI/bge-reranker-base 管道标签: 文本排序 库名称: sentence-transformers

基于BAAI/bge-reranker-base的交叉编码器

这是一个从BAAI/bge-reranker-base微调而来的交叉编码器模型，使用了sentence-transformers库。它为文本对计算分数，可用于文本重排序和语义搜索。

模型详情

模型描述

• 模型类型: 交叉编码器
• 基础模型: BAAI/bge-reranker-base
• 最大序列长度: 512个标记
• 输出标签数量: 1个标签

模型来源

• 文档: 句子转换器文档
• 文档: 交叉编码器文档
• 代码库: GitHub上的句子转换器
• Hugging Face: Hugging Face上的交叉编码器

使用方式

直接使用（句子转换器）

首先安装句子转换器库：

pip install -U sentence-transformers

然后可以加载此模型并运行推理。

from sentence_transformers import CrossEncoder

# 从🤗 Hub下载
model = CrossEncoder("foochun/bge-reranker-ft")
# 获取文本对的分数
pairs = [
    ['zach koh yong liang', 'yong liang koh zach'],
    ['zulkifli bin mohamad', 'zulkifli bin muhammad'],
    ['rahman bin mohd rashid', 'rahman mohammed rashid'],
    ['mohd syukri bin bakar', 'muhd syukri bakar'],
    ['carmen tan fang kiat', 'tan fang kiat'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# 或者根据与单个文本的相似性对不同的文本进行排序
ranks = model.rank(
    'zach koh yong liang',
    [
        'yong liang koh zach',
        'zulkifli bin muhammad',
        'rahman mohammed rashid',
        'muhd syukri bakar',
        'tan fang kiat',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

训练详情

训练数据集

未命名数据集

• 大小: 72,905个训练样本
• 列: query, pos, 和 neg
• 基于前1000个样本的近似统计:

  	查询	正例	负例
  类型	字符串	字符串	字符串
  详情	最小: 9个字符 平均: 19.91个字符 最大: 45个字符	最小: 9个字符 平均: 17.64个字符 最大: 40个字符	最小: 9个字符 平均: 17.95个字符 最大: 37个字符

• 样本:

  查询	正例	负例
  sim hong soon	sim hong soon	sim soon hong
  raja mariam binti raja sharif	raja mariam raja sharif	zuraidah binti dollah
  saw ann fui	fui saw ann	ann saw fui

• 损失函数: MultipleNegativesRankingLoss 参数如下:

  {
      "scale": 10.0,
      "num_negatives": 4,
      "activation_fn": "torch.nn.modules.activation.Sigmoid"
  }
  

评估数据集

未命名数据集

• 大小: 10,415个评估样本
• 列: query, pos, 和 neg
• 基于前1000个样本的近似统计:

  	查询	正例	负例
  类型	字符串	字符串	字符串
  详情	最小: 9个字符 平均: 19.95个字符 最大: 43个字符	最小: 9个字符 平均: 17.8个字符 最大: 42个字符	最小: 8个字符 平均: 18.33个字符 最大: 36个字符

• 样本:

  查询	正例	负例
  zach koh yong liang	yong liang koh zach	liang yong koh zach
  zulkifli bin mohamad	zulkifli bin muhammad	razak bin ibrahim
  rahman bin mohd rashid	rahman mohammed rashid	fauzi bin mohd

• 损失函数: MultipleNegativesRankingLoss 参数如下:

  {
      "scale": 10.0,
      "num_negatives": 4,
      "activation_fn": "torch.nn.modules.activation.Sigmoid"
  }
  

训练超参数

非默认超参数

• eval_strategy: steps
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• learning_rate: 1e-05
• warmup_ratio: 0.1
• seed: 12
• fp16: True
• dataloader_num_workers: 4
• load_best_model_at_end: True
• batch_sampler: no_duplicates

所有超参数

训练日志

框架版本

• Python: 3.11.9
• Sentence Transformers: 4.1.0
• Transformers: 4.51.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.6.0
• Datasets: 3.6.0
• Tokenizers: 0.21.1

引用

BibTeX

句子转换器

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}