license: mit pipeline_tag: feature-extraction

bge-m3-onnx-o4

这是原始模型 BAAI/bge-m3 的 bge-m3-onnx-o4 量化版本。该模型的亮点在于：

• [x] 多功能性：可同时执行嵌入模型的三种常见检索功能——稠密检索、多向量检索和稀疏检索。
• [x] 多语言支持：覆盖超过 100 种工作语言。
• [x] 多粒度处理：能够处理不同粒度的输入，从短句到最长 8192 个token的文档。

使用说明

重要提示 - 下载模型权重

请按以下步骤操作：

1. 下载 模型检查点：由于某些原因无法直接在线加载（会报错），需按如下方式下载：

# 安装依赖库
# pip install huggingface-hub
 
from huggingface_hub import snapshot_download

snapshot_download(repo_id="hooman650/bge-m3-onnx-o4", local_dir="bge-m3-onnx")

稠密检索

# 使用CUDA需安装
pip install --upgrade-strategy eager optimum[onnxruntime]

from optimum.onnxruntime import ORTModelForFeatureExtraction
from transformers import AutoTokenizer
import torch

# 确保已下载模型权重到本地路径`bge-m3-onnx`
model = ORTModelForFeatureExtraction.from_pretrained("bge-m3-onnx", provider="CUDAExecutionProvider") # CPU使用时省略provider参数
tokenizer = AutoTokenizer.from_pretrained("hooman650/bge-m3-onnx-o4")

sentences = [
    "英文：敏捷的棕色狐狸跳过懒惰的狗",
    "西班牙文：El rápido zorro marrón salta sobre el perro perezoso",
    "法文：Le renard brun rapide saute par-dessus le chien paresseux",
    "德文：Der schnelle braune Fuchs springt über den faulen Hund",
    "意大利文：La volpe marrone veloce salta sopra il cane pigro",
    "日文：速い茶色の狐が怠惰な犬を飛び越える",
    "中文（简体）：快速的棕色狐狸跳过懒狗",
    "俄文：Быстрая коричневая лиса прыгает через ленивую собаку",
    "阿拉伯文：الثعلب البني السريع يقفز فوق الكلب الكسول",
    "印地文：तेज़ भूरी लोमड़ी आलसी कुत्ते के ऊपर कूद जाती है"
]

encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt').to("cuda")

# 获取嵌入向量
out = model(**encoded_input, return_dict=True).last_hidden_state

# 标准化嵌入向量
dense_vecs = torch.nn.functional.normalize(out[:, 0], dim=-1)

多向量检索（ColBERT）

即将更新...