🚀 jina-reranker-v2-base-multilingual 测试

这是一个基于 Cross Encoder 的模型，它使用 sentence-transformers 库从 jinaai/jina-reranker-v2-base-multilingual 微调而来。该模型可以计算文本对的得分，可用于文本重排序和语义搜索。

🚀 快速开始

本模型是一个基于 Cross Encoder 的微调模型，使用 sentence-transformers 库进行开发。它能够为文本对计算得分，在文本重排序和语义搜索等任务中发挥作用。

✨ 主要特性

• 基于 Cross Encoder 架构，可有效计算文本对的相关性得分。
• 从预训练模型微调而来，具备良好的泛化能力。
• 支持文本重排序和语义搜索任务。

📦 安装指南

安装 Sentence Transformers 库

首先，你需要安装 Sentence Transformers 库：

pip install -U sentence-transformers

💻 使用示例

基础用法

安装好库后，你可以加载模型并进行推理：

from sentence_transformers import CrossEncoder

# 从 🤗 Hub 下载模型
model = CrossEncoder("SMARTICT/jina-reranker-v2-base-multilingual-wiki-tr-rag-prefix")
# 获取文本对的得分
pairs = [
    ['query: Kumbara tasarruf bilincinin aşılanmasında nasıl bir araçtır?', 'passage: Kumbara, özellikle çocuklara küçük yaşta para biriktirmenin ve tasarrufun önemini anlamalarını sağlamak için eğlenceli ve görsel bir araç sunar. İçine attıkları her kuruşu görerek birikimlerinin artışını gözlemlemeleri, onlarda tasarruf alışkanlığı kazanmalarına yardımcı olur.'],
    ['query: Kumbara tasarruf bilincinin aşılanmasında nasıl bir araçtır?', 'passage: Uzay araçlarında yakıt tasarrufu sağlamak için reaksiyon kontrol sistemlerine alternatif olarak ark jetleri, iyon iticileri veya Hall etkili iticiler gibi yüksek özgül itki motorları kullanılabilir. Ayrıca, ISS dahil bazı uzay araçları, dönme oranlarını kontrol etmek için dönen momentum çarklarından yararlanır.'],
    ['query: Kumbara tasarruf bilincinin aşılanmasında nasıl bir araçtır?', 'passage: Kubar, genellikle pipo, bong veya vaporizör kullanılarak içilir. Ayrıca sigara gibi sarılarak da tüketilebilir. Ancak kubar tek başına yanmadığı için, bu şekilde içildiğinde genellikle normal esrar veya tütün ile karıştırılır. Dekarboksile edilmiş kubar ise oral yolla da kullanılabilir.'],
    ['query: Kumbara tasarruf bilincinin aşılanmasında nasıl bir araçtır?', 'passage: Taşıma kuvveti, bir cismin havada yukarı doğru kaldırılmasına neden olan kuvvettir. Direnç kuvveti ise cismin hareketini yavaşlatan, ona karşı koyan kuvvettir. Hava taşımacılığında her iki kuvvet de önemlidir. Uçaklar uçabilmek için yeterli taşıma kuvveti üretmelidir. Ancak aynı zamanda direnci minimize etmek için tasarlanırlar çünkü direnç yakıt tüketimini artırır. Kara taşıtlarında ise düşük hızlarda direnç kuvveti ön plandadır. Ancak yüksek hızlarda, örneğin Formula 1 araçlarında, taşıma kuvveti de önemli hale gelir çünkü aracın yol tutuşunu sağlar.'],
    ['query: Kumbara tasarruf bilincinin aşılanmasında nasıl bir araçtır?', 'passage: Evet, yazıda da belirtildiği gibi kuvvet makineleri yakıt kullanan ısı makineleri ve doğal enerji kaynaklarını kullanan makinelere ayrılır. Örneğin, araçlarda kullanılan motorlar ısı makineleridir çünkü benzin veya dizel yakıtı kullanarak mekanik enerji üretirler. Rüzgar türbinleri ise rüzgarın kinetik enerjisini elektrik enerjisine dönüştüren doğal enerji kaynaklı kuvvet makineleridir.'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

高级用法

你还可以根据单个文本与其他文本的相似度对它们进行排序：

# 根据与单个文本的相似度对不同文本进行排序
ranks = model.rank(
    'query: Kumbara tasarruf bilincinin aşılanmasında nasıl bir araçtır?',
    [
        'passage: Kumbara, özellikle çocuklara küçük yaşta para biriktirmenin ve tasarrufun önemini anlamalarını sağlamak için eğlenceli ve görsel bir araç sunar. İçine attıkları her kuruşu görerek birikimlerinin artışını gözlemlemeleri, onlarda tasarruf alışkanlığı kazanmalarına yardımcı olur.',
        'passage: Uzay araçlarında yakıt tasarrufu sağlamak için reaksiyon kontrol sistemlerine alternatif olarak ark jetleri, iyon iticileri veya Hall etkili iticiler gibi yüksek özgül itki motorları kullanılabilir. Ayrıca, ISS dahil bazı uzay araçları, dönme oranlarını kontrol etmek için dönen momentum çarklarından yararlanır.',
        'passage: Kubar, genellikle pipo, bong veya vaporizör kullanılarak içilir. Ayrıca sigara gibi sarılarak da tüketilebilir. Ancak kubar tek başına yanmadığı için, bu şekilde içildiğinde genellikle normal esrar veya tütün ile karıştırılır. Dekarboksile edilmiş kubar ise oral yolla da kullanılabilir.',
        'passage: Taşıma kuvveti, bir cismin havada yukarı doğru kaldırılmasına neden olan kuvvettir. Direnç kuvveti ise cismin hareketini yavaşlatan, ona karşı koyan kuvvettir. Hava taşımacılığında her iki kuvvet de önemlidir. Uçaklar uçabilmek için yeterli taşıma kuvveti üretmelidir. Ancak aynı zamanda direnci minimize etmek için tasarlanırlar çünkü direnç yakıt tüketimini artırır. Kara taşıtlarında ise düşük hızlarda direnç kuvveti ön plandadır. Ancak yüksek hızlarda, örneğin Formula 1 araçlarında, taşıma kuvveti de önemli hale gelir çünkü aracın yol tutuşunu sağlar.',
        'passage: Evet, yazıda da belirtildiği gibi kuvvet makineleri yakıt kullanan ısı makineleri ve doğal enerji kaynaklarını kullanan makinelere ayrılır. Örneğin, araçlarda kullanılan motorlar ısı makineleridir çünkü benzin veya dizel yakıtı kullanarak mekanik enerji üretirler. Rüzgar türbinleri ise rüzgarın kinetik enerjisini elektrik enerjisine dönüştüren doğal enerji kaynaklı kuvvet makineleridir.',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers 文档
• 文档：Cross Encoder 文档
• 仓库：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Cross Encoders

评估

指标

Cross Encoder 重排序（gooaq-dev 数据集）

• 数据集：gooaq-dev
• 使用 CrossEncoderRerankingEvaluator 进行评估，参数如下：

  {
      "at_k": 10,
      "always_rerank_positives": false
  }
  

Cross Encoder 重排序（NanoMSMARCO_R100, NanoNFCorpus_R100 和 NanoNQ_R100 数据集）

• 数据集：NanoMSMARCO_R100, NanoNFCorpus_R100 和 NanoNQ_R100
• 使用 CrossEncoderRerankingEvaluator 进行评估，参数如下：

  {
      "at_k": 10,
      "always_rerank_positives": true
  }
  

Cross Encoder Nano BEIR（NanoBEIR_R100_mean 数据集）

• 数据集：NanoBEIR_R100_mean
• 使用 CrossEncoderNanoBEIREvaluator 进行评估，参数如下：

  {
      "dataset_names": [
          "msmarco",
          "nfcorpus",
          "nq"
      ],
      "rerank_k": 100,
      "at_k": 10,
      "always_rerank_positives": true
  }
  

训练详情

训练数据集

未命名数据集

• 大小：26,004 个训练样本
• 列：question，answer 和 label
• 基于前 1000 个样本的近似统计信息： | | 问题 | 答案 | 标签 | |------|------|------|------| | 类型 | 字符串 | 字符串 | 整数 | | 详情 |
  • 最小：27 个字符
  • 平均：78.97 个字符
  • 最大：182 个字符
  |
  • 最小：44 个字符
  • 平均：273.24 个字符
  • 最大：836 个字符
  |
  • 0：~81.00%
  • 1：~19.00%
  |
• 样本： | 问题 | 答案 | 标签 | |------|------|------| | query: Kumbara tasarruf bilincinin aşılanmasında nasıl bir araçtır? | passage: Kumbara, özellikle çocuklara küçük yaşta para biriktirmenin ve tasarrufun önemini anlamalarını sağlamak için eğlenceli ve görsel bir araç sunar. İçine attıkları her kuruşu görerek birikimlerinin artışını gözlemlemeleri, onlarda tasarruf alışkanlığı kazanmalarına yardımcı olur. | 1 | | query: Kumbara tasarruf bilincinin aşılanmasında nasıl bir araçtır? | passage: Uzay araçlarında yakıt tasarrufu sağlamak için reaksiyon kontrol sistemlerine alternatif olarak ark jetleri, iyon iticileri veya Hall etkili iticiler gibi yüksek özgül itki motorları kullanılabilir. Ayrıca, ISS dahil bazı uzay araçları, dönme oranlarını kontrol etmek için dönen momentum çarklarından yararlanır. | 0 | | query: Kumbara tasarruf bilincinin aşılanmasında nasıl bir araçtır? | passage: Kubar, genellikle pipo, bong veya vaporizör kullanılarak içilir. Ayrıca sigara gibi sarılarak da tüketilebilir. Ancak kubar tek başına yanmadığı için, bu şekilde içildiğinde genellikle normal esrar veya tütün ile karıştırılır. Dekarboksile edilmiş kubar ise oral yolla da kullanılabilir. | 0 |
• 损失函数：BinaryCrossEntropyLoss，参数如下：

  {
      "activation_fn": "torch.nn.modules.linear.Identity",
      "pos_weight": 5
  }
  

训练超参数

非默认超参数

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 2
• warmup_ratio: 0.1
• bf16: True
• dataloader_num_workers: 4
• load_best_model_at_end: True

所有超参数

训练日志

框架版本

• Python: 3.11.12
• Sentence Transformers: 4.0.2
• Transformers: 4.51.1
• PyTorch: 2.6.0+cu124
• Accelerate: 1.5.2
• Datasets: 3.5.0
• Tokenizers: 0.21.1

📄 许可证

本模型使用 apache-2.0 许可证。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}