许可证：MIT

bge-large-zh-v1.5-gguf

源模型：https://huggingface.co/BAAI/bge-large-zh-v1.5

以GGUF格式提供的量化与非量化嵌入模型，适用于llama.cpp。相较于transformers几乎必然带来优势，与ONNX相比的优势则因应用场景而异，但对于较大模型，在CPU上能显著提速，GPU上也有适度提升。由于这些模型体积相对较小，量化带来的优势有限，但在CPU上仍可实现高达30%的速度提升，且精度损失极小。

可用文件

使用方法

这些模型文件可通过纯llama.cpp或llama-cpp-python的Python绑定使用

from llama_cpp import Llama
model = Llama(gguf_path, embedding=True)
embed = model.embed(texts)

其中texts可以是字符串或字符串列表，返回值是嵌入向量列表。输入会自动分组为批次以提高执行效率。此外，通过langchain_community.embeddings.LlamaCppEmbeddings还可实现LangChain集成。