许可证: mit

bge-small-en-v1.5-gguf

源模型: https://huggingface.co/BAAI/bge-small-en-v1.5

提供GGUF格式的量化与非量化嵌入模型，专为llama.cpp设计。相较于transformers，其性能提升几乎可以保证；而与ONNX相比，具体优势取决于应用场景。对于较大模型，在CPU上能显著提速，GPU上也有适度提升。由于这些模型体积相对较小，量化带来的优势有限，但在CPU上仍可实现高达30%的速度提升，且精度损失极小。

可用文件

使用方法

这些模型文件可与纯llama.cpp或llama-cpp-python的Python绑定配合使用

from llama_cpp import Llama
model = Llama(gguf_path, embedding=True)
embed = model.embed(texts)

其中texts可以是字符串或字符串列表，返回值是嵌入向量列表。输入会自动分组为批次以提高执行效率。此外，还可通过langchain_community.embeddings.LlamaCppEmbeddings实现LangChain集成。