许可证：apache-2.0
流水线标签：文本排序
标签：

• transformers
• sentence-transformers
• 文本嵌入推理
  支持语言：
• 南非荷兰语
• 阿拉伯语
• 阿塞拜疆语
• 白俄罗斯语
• 保加利亚语
• 孟加拉语
• 加泰罗尼亚语
• 宿务语
• 捷克语
• 威尔士语
• 丹麦语
• 德语
• 希腊语
• 英语
• 西班牙语
• 爱沙尼亚语
• 巴斯克语
• 波斯语
• 芬兰语
• 法语
• 加利西亚语
• 古吉拉特语
• 希伯来语
• 印地语
• 克罗地亚语
• 海地克里奥尔语
• 匈牙利语
• 亚美尼亚语
• 印尼语
• 冰岛语
• 意大利语
• 日语
• 爪哇语
• 格鲁吉亚语
• 哈萨克语
• 高棉语
• 卡纳达语
• 韩语
• 吉尔吉斯语
• 老挝语
• 立陶宛语
• 拉脱维亚语
• 马其顿语
• 马拉雅拉姆语
• 蒙古语
• 马拉地语
• 马来语
• 缅甸语
• 尼泊尔语
• 荷兰语
• 挪威语
• 旁遮普语
• 波兰语
• 葡萄牙语
• 克丘亚语
• 罗马尼亚语
• 俄语
• 僧伽罗语
• 斯洛伐克语
• 斯洛文尼亚语
• 索马里语
• 阿尔巴尼亚语
• 塞尔维亚语
• 瑞典语
• 斯瓦希里语
• 泰米尔语
• 泰卢固语
• 泰语
• 他加禄语
• 土耳其语
• 乌克兰语
• 乌尔都语
• 越南语
• 约鲁巴语
• 中文
  库名称：sentence-transformers

gte-multilingual-reranker-base

gte-multilingual-reranker-base模型是GTE系列中的首个重排序模型，具有以下核心特性：

• 高性能：在同等规模的重排序模型中，该模型在多语言检索任务和多任务表示模型评估中均达到最先进水平（SOTA）。
• 训练架构：采用仅编码器的Transformer架构训练，模型体积更小。与基于纯解码LLM架构的先前模型（如gte-qwen2-1.5b-instruct）相比，推理硬件需求更低，速度提升10倍。
• 长文本支持：支持最长8192个token的文本输入。
• 多语言能力：支持超过70种语言。

模型信息

• 模型大小：306M
• 最大输入token数：8192

使用方法

• 建议安装xformers并启用unpadding以加速推理，参考启用unpadding与xformers加速
• 离线使用指南：new-impl/discussions/2

使用Huggingface transformers（transformers>=4.36.0）：

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

model_name_or_path = "Alibaba-NLP/gte-multilingual-reranker-base"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
model = AutoModelForSequenceClassification.from_pretrained(
    model_name_or_path, trust_remote_code=True,
    torch_dtype=torch.float16
)
model.eval()

pairs = [["中国的首都在哪儿","北京"], ["what is the capital of China?", "北京"], ["how to implement quick sort in python?","Introduction of quick sort"]]
with torch.no_grad():
    inputs = tokenizer(pairs, padding=True, truncation=True, return_tensors='pt', max_length=512)
    scores = model(**inputs, return_dict=True).logits.view(-1, ).float()
    print(scores)

# 输出示例：tensor([1.2315, 0.5923, 0.3041])

通过Infinity使用：
Infinity是一个MIT许可的推理RESTAPI服务。

docker run --gpus all -v $PWD/data:/app/.cache -p "7997":"7997" \
michaelf34/infinity:0.0.68 \
v2 --model-id Alibaba-NLP/gte-multilingual-reranker-base --revision "main" --dtype bfloat16 --batch-size 32 --device cuda --engine torch --port 7997

评估结果

基于多文本检索数据集的重排序效果

详细实验结果请参阅论文。

云端API服务

除开源的GTE系列模型外，GTE系列模型还作为商业API服务在阿里云提供：

• 嵌入模型：提供text-embedding-v1/v2/v3三个版本，其中v3为最新API服务。
• 重排序模型：提供gte-rerank模型服务。

注意：商业API背后的模型与开源模型并非完全一致。

引用

如果您觉得我们的论文或模型有帮助，请考虑引用：

@inproceedings{zhang2024mgte,
  title={mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval},
  author={Zhang, Xin and Zhang, Yanzhao and Long, Dingkun and Xie, Wen and Dai, Ziqi and Tang, Jialong and Lin, Huan and Yang, Baosong and Xie, Pengjun and Huang, Fei and others},
  booktitle={Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: Industry Track},
  pages={1393--1412},
  year={2024}
}