库名称：transformers
许可证：apache-2.0
支持语言：

• 英语
  标签：
• 重排序器
• 交叉编码器
• transformers.js
• 句子转换器
  任务类型：文本排序

jina-reranker-v1-tiny-en-GGUF

模型创建者：Jina AI
原始模型：jina-reranker-v1-tiny-en
GGUF量化：基于llama.cpp版本f4d2b

由Jina AI训练。

jina-reranker-v1-tiny-en

该模型专为极速重排序而设计，同时保持竞争力强的性能。更重要的是，它以我们的JinaBERT模型为基础。JinaBERT本身是BERT架构的一个独特变体，支持ALiBi的对称双向变体。这使得jina-reranker-v1-tiny-en能够处理比其他重排序模型更长的文本序列，最高可达8,192个令牌。

为了实现惊人的速度，jina-reranker-v1-tiny-en采用了一种称为知识蒸馏的技术。在这里，一个复杂但较慢的模型（如我们原始的jina-reranker-v1-base-en）充当教师，将其知识浓缩到一个更小、更快的学生模型中。这个学生模型保留了教师的大部分知识，使其能够在更短的时间内提供相似的准确性。

以下是我们提供的重排序模型的分类：

目前，jina-reranker-v1-base-en模型在Hugging Face上不可用。您可以通过Jina AI重排序API访问它。

如您所见，jina-reranker-v1-turbo-en提供了一种平衡的方法，具有6层和37.8百万参数。这意味着在保持高准确性的同时实现快速搜索和重排序。jina-reranker-v1-tiny-en进一步优先考虑速度，通过其4层、33.0百万参数架构实现最快的推理速度。这使其非常适合在绝对最高准确性不那么关键的场景中使用。

使用方法

1. 开始使用jina-reranker-v1-tiny-en的最简单方法是使用Jina AI的重排序API。

curl https://api.jina.ai/v1/rerank \  
  -H "Content-Type: application/json" \  
  -H "Authorization: Bearer YOUR_API_KEY" \  
  -d '{  
  "model": "jina-reranker-v1-tiny-en",  
  "query": "敏感肌肤的有机护肤品",  
  "documents": [  
    "现代家庭的环保厨具",  
    "环保消费者的可生物降解清洁用品",  
    "敏感肌肤的有机棉婴儿服装",  
    "敏感肌肤的天然有机护肤品系列",  
    "智能家居的科技小工具：2024版",  
    "可持续园艺工具和堆肥解决方案",  
    "敏感肌肤友好的洁面乳和爽肤水",  
    "有机食品包装和储存解决方案",  
    "针对过敏狗狗的全天然宠物食品",  
    "由回收材料制成的瑜伽垫"  
  ],  
  "top_n": 3  
}'  

2. 或者，您可以使用最新版本的sentence-transformers>=0.27.0库。您可以通过pip安装它：

pip install -U sentence-transformers  

然后，您可以使用以下代码与模型交互：

from sentence_transformers import CrossEncoder  

# 加载模型，这里我们使用我们的微型模型  
model = CrossEncoder("jinaai/jina-reranker-v1-tiny-en", trust_remote_code=True)  

# 示例查询和文档  
query = "敏感肌肤的有机护肤品"  
documents = [  
    "现代家庭的环保厨具",  
    "环保消费者的可生物降解清洁用品",  
    "敏感肌肤的有机棉婴儿服装",  
    "敏感肌肤的天然有机护肤品系列",  
    "智能家居的科技小工具：2024版",  
    "可持续园艺工具和堆肥解决方案",  
    "敏感肌肤友好的洁面乳和爽肤水",  
    "有机食品包装和储存解决方案",  
    "针对过敏狗狗的全天然宠物食品",  
    "由回收材料制成的瑜伽垫"  
]  

results = model.rank(query, documents, return_documents=True, top_k=3)  

3. 您还可以使用transformers库以编程方式与模型交互。

!pip install transformers  
from transformers import AutoModelForSequenceClassification  

model = AutoModelForSequenceClassification.from_pretrained(  
    'jinaai/jina-reranker-v1-tiny-en', num_labels=1, trust_remote_code=True  
)  

# 示例查询和文档  
query = "敏感肌肤的有机护肤品"  
documents = [  
    "现代家庭的环保厨具",  
    "环保消费者的可生物降解清洁用品",  
    "敏感肌肤的有机棉婴儿服装",  
    "敏感肌肤的天然有机护肤品系列",  
    "智能家居的科技小工具：2024版",  
    "可持续园艺工具和堆肥解决方案",  
    "敏感肌肤友好的洁面乳和爽肤水",  
    "有机食品包装和储存解决方案",  
    "针对过敏狗狗的全天然宠物食品",  
    "由回收材料制成的瑜伽垫"  
]  

# 构建句子对  
sentence_pairs = [[query, doc] for doc in documents]  

scores = model.compute_score(sentence_pairs)  

4. 您还可以使用transformers.js库直接在JavaScript（浏览器、Node.js、Deno等）中运行模型！

如果您尚未安装，可以从NPM安装Transformers.js JavaScript库：

npm i @xenova/transformers  

然后，您可以使用以下代码与模型交互：

import { AutoTokenizer, AutoModelForSequenceClassification } from '@xenova/transformers';  

const model_id = 'jinaai/jina-reranker-v1-tiny-en';  
const model = await AutoModelForSequenceClassification.from_pretrained(model_id, { quantized: false });  
const tokenizer = await AutoTokenizer.from_pretrained(model_id);  

/**  
 * 使用CrossEncoder对给定的查询和文档进行排序。返回一个包含文档索引和分数的排序列表。  
 * @param {string} query 单个查询  
 * @param {string[]} documents 文档列表  
 * @param {Object} options 排序选项  
 * @param {number} [options.top_k=undefined] 返回前k个文档。如果未定义，则返回所有文档。  
 * @param {number} [options.return_documents=false] 如果为true，则还返回文档。如果为false，则仅返回索引和分数。  
 */  
async function rank(query, documents, {  
    top_k = undefined,  
    return_documents = false,  
} = {}) {  
    const inputs = tokenizer(  
        new Array(documents.length).fill(query),  
        { text_pair: documents, padding: true, truncation: true }  
    )  
    const { logits } = await model(inputs);  
    return logits.sigmoid().tolist()  
        .map(([score], i) => ({  
            corpus_id: i,  
            score,  
            ...(return_documents ? { text: documents[i] } : {})  
        })).sort((a, b) => b.score - a.score).slice(0, top_k);  
}  

// 示例用法：  
const query = "敏感肌肤的有机护肤品"  
const documents = [  
    "现代家庭的环保厨具",  
    "环保消费者的可生物降解清洁用品",  
    "敏感肌肤的有机棉婴儿服装",  
    "敏感肌肤的天然有机护肤品系列",  
    "智能家居的科技小工具：2024版",  
    "可持续园艺工具和堆肥解决方案",  
    "敏感肌肤友好的洁面乳和爽肤水",  
    "有机食品包装和储存解决方案",  
    "针对过敏狗狗的全天然宠物食品",  
    "由回收材料制成的瑜伽垫",  
]  

const results = await rank(query, documents, { return_documents: true, top_k: 3 });  
console.log(results);  

就是这样！您现在可以在项目中使用jina-reranker-v1-tiny-en模型了。

评估

我们在3个关键基准上评估了Jina Reranker，以确保顶级性能和搜索相关性。

注意：

• NDCG@10是衡量排序质量的指标，分数越高表示搜索结果越好。命中率衡量相关文档出现在前10个搜索结果中的百分比。
• 其他模型在LoCo数据集上的结果不可用，因为它们不支持超过512个令牌的长文档。

更多详情，请参阅我们的基准测试表。

联系方式

加入我们的Discord社区，与其他社区成员交流想法。