语言: 多语言
许可证: MIT
标签:

• ONNX
• 优化版
• 量化
• INT8
• 文本嵌入
• ONNX运行时
• 操作集14
• 文本分类
• GPU
• 已优化
  数据集:
• mmarco
  管道标签: 句子相似度

gte-multilingual-reranker-base-onnx-op14-opt-gpu-int8-量化版

本模型是Alibaba-NLP/gte-multilingual-reranker-base的量化ONNX版本，采用ONNX操作集14。

模型详情

• 量化类型: INT8
• ONNX操作集: 14
• 任务: 文本分类
• 目标设备: GPU
• 已优化: 是
• 框架: ONNX运行时
• 原始模型: Alibaba-NLP/gte-multilingual-reranker-base
• 量化日期: 2025-03-27

环境与软件包版本

应用优化

使用方法

from optimum.onnxruntime import ORTModelForSequenceClassification  
from transformers import AutoTokenizer  

# 加载模型和分词器  
model = ORTModelForSequenceClassification.from_pretrained("量化模型")  
tokenizer = AutoTokenizer.from_pretrained("量化模型")  

# 准备输入  
text = "此处输入您的文本"  
inputs = tokenizer(text, return_tensors="pt")  

# 运行推理  
outputs = model(**inputs)  

量化过程

该模型使用ONNX运行时进行INT8量化。
量化通过Hugging Face的Optimum库完成，采用操作集14。
导出时应用了图优化，目标设备为GPU。

性能对比

量化模型通常能提供更快的推理速度，但会略微牺牲精度。
此INT8量化模型应比原始模型显著提升推理速度。