🚀 Qwen/Qwen1.5-MoE-A2.7B-Chat - GGUF

本仓库包含 Qwen/Qwen1.5-MoE-A2.7B-Chat 的 GGUF 格式模型文件。这些文件是使用 TensorBlock 提供的机器进行量化的，并且与截至 提交 b4011 的 llama.cpp 兼容。

✨ 主要特性

项目介绍

本项目主要围绕 Qwen/Qwen1.5-MoE-A2.7B-Chat 模型的 GGUF 格式文件展开，提供了不同量化类型的模型文件，适用于不同的使用场景。

相关项目

我们还有以下相关项目：

📚 详细文档

提示模板

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

模型文件规格

下载说明

命令行方式

首先，安装 Huggingface 客户端：

pip install -U "huggingface_hub[cli]"

然后，将单个模型文件下载到本地目录：

huggingface-cli download tensorblock/Qwen1.5-MoE-A2.7B-Chat-GGUF --include "Qwen1.5-MoE-A2.7B-Chat-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式（例如 *Q4_K*gguf）下载多个模型文件，可以尝试：

huggingface-cli download tensorblock/Qwen1.5-MoE-A2.7B-Chat-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📄 许可证

本项目采用 tongyi-qianwen 许可证。