标签:

• 训练生成
• TensorBlock
• GGUF 许可证: MIT 语言:
• 英文 基础模型: castorini/rank_zephyr_7b_v1_full 管道标签: 文本排序

castorini/rank_zephyr_7b_v1_full - GGUF

此仓库包含 castorini/rank_zephyr_7b_v1_full 的GGUF格式模型文件。

这些文件由 TensorBlock 提供的机器进行量化，并与 commit b4011 版本的llama.cpp兼容。

我们的项目

Awesome MCP Servers	TensorBlock Studio
一个全面的模型上下文协议(MCP)服务器集合。	一个轻量级、开放且可扩展的多LLM交互工作室。
👀 看看我们构建了什么 👀	👀 看看我们构建了什么 👀

<|system|>
{system_prompt}</s>
<|user|>
{prompt}</s>
<|assistant|>

模型文件规格

下载指南

命令行

首先，安装Huggingface客户端

pip install -U "huggingface_hub[cli]"

然后，下载单个模型文件到本地目录

huggingface-cli download tensorblock/rank_zephyr_7b_v1_full-GGUF --include "rank_zephyr_7b_v1_full-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果想下载多个匹配特定模式的文件（例如*Q4_K*gguf），可以尝试：

huggingface-cli download tensorblock/rank_zephyr_7b_v1_full-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'