基础模型: BAAI/bge-reranker-v2-m3 支持语言:

• 英文
• 俄文 许可证: mit 任务标签: 文本排序 标签:
• transformers
• sentence-transformers
• 文本嵌入推理 库名称: sentence-transformers

支持英文和俄文的模型

这是BAAI/bge-reranker-v2-m3的精简版本。

该模型仅保留了英文和俄文的词汇表，因此比原始模型小1.5倍，同时能生成相同的嵌入向量。

模型是通过这个笔记本进行精简的。

常见问题

为文本生成评分

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('qilowoq/bge-reranker-v2-m3-en-ru')
model = AutoModelForSequenceClassification.from_pretrained('qilowoq/bge-reranker-v2-m3-en-ru')
model.eval()

pairs = [('柏林有多少人口？', '柏林在891.82平方公里的面积上拥有3,520,031名注册居民。'),
         ('柏林的面积是多少？', '柏林的总面积为891.8平方公里。')]
with torch.no_grad():
    inputs = tokenizer(pairs, padding=True, truncation=True, return_tensors='pt')
    scores = model(**inputs, return_dict=True).logits.view(-1, ).float()
    print(scores)

引用

如果您觉得这个仓库有用，请考虑给予星标和引用

@misc{li2023making,
      title={让大型语言模型成为密集检索的更好基础}, 
      author={李超凡 and 刘政 and 肖世涛 and 邵颖霞},
      year={2023},
      eprint={2312.15503},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}
@misc{chen2024bge,
      title={BGE M3-嵌入：通过自知识蒸馏实现多语言、多功能、多粒度的文本嵌入}, 
      author={陈建吕 and 肖世涛 and 张培天 and 罗坤 and 连德福 and 刘政},
      year={2024},
      eprint={2402.03216},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}