🚀 bge-base-en-v1.5-gguf

本项目提供了以GGUF格式存储的量化和非量化嵌入模型，可与 llama.cpp 配合使用。相较于 transformers，使用本模型几乎必然能带来性能提升；与ONNX相比，性能提升则因应用场景而异。对于较大的模型，本模型在CPU上能显著加速，在GPU上也有一定的加速效果。由于这些模型规模相对较小，量化带来的性能提升有限，但在CPU上仍能实现高达30%的加速，且精度损失极小。

📚 详细文档

源模型

源模型链接：https://huggingface.co/BAAI/bge-base-en-v1.5

可用文件

💻 使用示例

基础用法

这些模型文件可与纯 llama.cpp 或 llama-cpp-python Python绑定一起使用。

from llama_cpp import Llama
model = Llama(gguf_path, embedding=True)
embed = model.embed(texts)

这里的 texts 可以是一个字符串或字符串列表，返回值是一个嵌入向量列表。输入会自动分批以提高执行效率。此外，还可以通过 langchain_community.embeddings.LlamaCppEmbeddings 集成到LangChain中。

📄 许可证

本项目采用MIT许可证。