模型信息

模型名称: Alibaba-NLP/gte-Qwen2-7B-instruct - GGUF
模型来源: Alibaba-NLP/gte-Qwen2-7B-instruct
量化方式: 使用TensorBlock提供的机器进行量化
兼容性: 兼容llama.cpp（commit b4011）

模型文件规格

提示模板

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

下载指令

命令行

首先安装Huggingface客户端：

pip install -U "huggingface_hub[cli]"

然后下载单个模型文件到本地目录：

huggingface-cli download tensorblock/gte-Qwen2-7B-instruct-GGUF --include "gte-Qwen2-7B-instruct-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果需要下载多个模型文件（例如*Q4_K*gguf），可以尝试：

huggingface-cli download tensorblock/gte-Qwen2-7B-instruct-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

我们的项目

Awesome MCP Servers	TensorBlock Studio
一个全面的模型上下文协议（MCP）服务器集合。	一个轻量级、开放且可扩展的多LLM交互工作室。
👀 看看我们构建了什么 👀	👀 看看我们构建了什么 👀

反馈与支持

• Twitter/X
• Telegram Group
• Discord server