基础模型: thenlper/gte-large
推理: false
语言:

• 英语
  许可证: mit
  模型创建者: thenlper
  模型名称: gte-large
  模型类型: bert
  量化者: ChristianAzinn
  库名称: sentence-transformers
  管道标签: 特征提取
  标签:
• mteb
• bert
• gguf
• 句子相似度
• 句子转换器
• 句子嵌入

gte-large-gguf

模型创建者: thenlper

原始模型: gte-large

原始描述

通用文本嵌入（GTE）模型。通过多阶段对比学习实现通用文本嵌入

GTE模型由阿里巴巴达摩院训练。它们主要基于BERT框架，目前提供三种不同大小的模型，包括GTE-large、GTE-base和GTE-small。GTE模型在大规模相关性文本对语料库上训练，涵盖广泛的领域和场景。这使得GTE模型可以应用于文本嵌入的各种下游任务，包括信息检索、语义文本相似度、文本重排序等。

描述

此仓库包含gte-large嵌入模型的GGUF格式文件。

这些文件使用llama.cpp PR 5500转换和量化，提交34aa045de，在消费级RTX 4090上完成。

此模型支持最多512个token的上下文。

兼容性

这些文件与llama.cpp提交4524290e8及LM Studio版本0.2.19兼容。

元信息

量化方法说明

提供的文件

示例

使用llama.cpp的示例

计算单个嵌入，构建llama.cpp并运行：

./embedding -ngl 99 -m [文件路径-to-gguf].gguf -p '搜索查询: 什么是TSNE?'  

你也可以提交一批文本来嵌入，只要总token数不超过上下文长度。embedding示例仅显示前三个嵌入。

texts.txt:

搜索查询: 什么是TSNE?  
搜索查询: Laurens Van der Maaten是谁?  

计算多个嵌入：

./embedding -ngl 99 -m [文件路径-to-gguf].gguf -f texts.txt  

使用LM Studio的示例

从此处下载0.2.19测试版：Windows MacOS Linux

安装完成后，打开应用。主页应如下所示：

在主搜索栏中搜索"ChristianAzinn"，或转到左侧菜单的"搜索"选项卡并在那里搜索名称。

从出现的模型中选择你的模型（此示例使用bge-small-en-v1.5-gguf）并选择要下载的量化版本。由于此模型较小，我推荐Q8_0，如果不是f16/32。一般来说，列表中越往下（或数字越大），文件越大，性能越好。

模型成功下载后，你会看到一个绿色勾选标记和"Downloaded"字样，下载时间取决于你的网络速度。

下载完成后，导航到左侧菜单的"Local Server"选项卡，打开文本嵌入模型的加载器。此加载器在0.2.19版本之前不会出现，请确保下载了正确的版本。

从下拉菜单中选择刚下载的模型加载。你可能需要在右侧菜单中调整配置，例如GPU卸载，如果模型无法完全放入VRAM。

剩下的就是点击"Start Server"按钮：

如果你在控制台中看到如下文本，就可以开始了！你可以将其作为OpenAI嵌入API的直接替代品，在任何需要它的应用中使用，或者直接查询端点进行测试。

向API端点发送curl请求的示例：

curl http://localhost:1234/v1/embeddings \  
  -H "Content-Type: application/json" \  
  -d '{  
    "input": "你的文本字符串在这里",  
    "model": "模型标识符在这里"  
  }'  

更多信息，请参阅LM Studio的文本嵌入文档。

致谢

感谢LM Studio团队和所有从事开源AI工作的人。

此README受nomic-ai-embed-text-v1.5-gguf的启发，这是另一个优秀的嵌入模型，以及传奇的TheBloke的README。