基础模型: mixedbread-ai/mxbai-embed-large-v1 推理: 不支持 语言:

• 英语 许可证: Apache-2.0 模型创建者: MixedBread AI 模型名称: mxbai-embed-large-v1 模型类型: BERT 量化者: ChristianAzinn 库名称: sentence-transformers 管道标签: 特征提取 标签:
• MTEB
• Transformers
• Transformers.js
• GGUF

mxbai-embed-large-v1-gguf

模型创建者: MixedBread AI

原始模型: mxbai-embed-large-v1

原始描述

这是我们基础的句子嵌入模型。它使用AnglE损失函数在我们高质量的大规模数据上进行训练。在BERT-large规模上达到了SOTA性能。更多详情请参阅我们的博客文章。

描述

此仓库包含mxbai-embed-large-v1嵌入模型的GGUF格式文件。

这些文件通过llama.cpp的PR 5500提交34aa045de在消费级RTX 4090上转换和量化完成。

该模型支持最多512个token的上下文长度。

兼容性

这些文件与llama.cpp提交4524290e8及LM Studio版本0.2.19兼容。

元信息

量化方法说明

提供的文件

示例

使用llama.cpp的示例用法

计算单个嵌入，构建llama.cpp并运行:

./embedding -ngl 99 -m [gguf文件路径].gguf -p '搜索查询: 什么是TSNE?'

您也可以提交一批文本来嵌入，只要总token数不超过上下文长度。embedding示例仅显示前三个嵌入。

texts.txt:

搜索查询: 什么是TSNE?
搜索查询: Laurens Van der Maaten是谁?

计算多个嵌入:

./embedding -ngl 99 -m [gguf文件路径].gguf -f texts.txt

使用LM Studio的示例用法

从此处下载0.2.19测试版构建: Windows MacOS Linux

安装完成后打开应用。主页应如下所示:

在主搜索栏搜索"ChristianAzinn"或在左侧菜单的"搜索"标签页中搜索该名称。

从出现的模型中选择您的模型(本示例使用bge-small-en-v1.5-gguf)并选择要下载的量化版本。由于此模型较小，推荐使用Q8_0，如果不是f16/32。通常，列表中越往下(或数字越大)，文件越大，性能越好。

模型成功下载后，您会看到绿色勾选标记和"已下载"字样，根据网络速度可能需要一些时间。

模型下载完成后，导航至左侧菜单的"本地服务器"标签页，打开文本嵌入模型的加载器。此加载器在0.2.19版本之前不会出现，请确保下载了正确版本。

从出现的下拉菜单中选择您刚下载的模型进行加载。如果无法完全放入VRAM，可能需要调整右侧菜单中的配置，如GPU卸载。

最后只需点击"启动服务器"按钮:

如果在控制台中看到如下文本，就大功告成了！您可以在任何需要OpenAI嵌入API的应用中将其作为替代品使用，或直接查询端点进行测试。

向API端点发送curl请求的示例:

curl http://localhost:1234/v1/embeddings \
  -H "Content-Type: application/json" \
  -d '{
    "input": "您的文本字符串放在这里",
    "model": "此处填写模型标识符"
  }'

更多信息，请参阅LM Studio的文本嵌入文档。

致谢

感谢LM Studio团队和所有从事开源AI工作的贡献者。

本README受[nomic-ai-embed-text-v1.5-GGUF](https://huggingface.co/nomic-ai/n