DeepSeek-V2-Lite-Chat-IMat-GGUF 模型说明

模型基本信息

• 基础模型: deepseek-ai/DeepSeek-V2-Lite-Chat
• 推理: 不支持直接推理
• 库名称: gguf
• 管道标签: 文本生成
• 量化者: legraphista
• 标签:
  • 量化
  • GGUF
  • imatrix
  • 量化技术
  • imat
  • imatrix
  • 静态量化

模型描述

这是 deepseek-ai/DeepSeek-V2-Lite-Chat 模型的 Llama.cpp imatrix 量化版本。

原始模型: deepseek-ai/DeepSeek-V2-Lite-Chat
原始数据类型: BF16 (bfloat16)
量化工具: llama.cpp fork PR 7519
IMatrix 数据集: 点击这里

文件信息

IMatrix 文件

状态: ✅ 可用
链接: 点击这里

常见量化版本

所有量化版本

下载方法

使用 huggingface-cli 下载

首先确保安装了 huggingface-cli:

pip install -U "huggingface_hub[cli]"

然后可以下载特定文件:

huggingface-cli download legraphista/DeepSeek-V2-Lite-Chat-IMat-GGUF --include "DeepSeek-V2-Lite-Chat.Q8_0.gguf" --local-dir ./

如果模型大于50GB，它会被分割成多个文件。要下载所有文件到本地文件夹，运行:

huggingface-cli download legraphista/DeepSeek-V2-Lite-Chat-IMat-GGUF --include "DeepSeek-V2-Lite-Chat.Q8_0/*" --local-dir DeepSeek-V2-Lite-Chat.Q8_0
# 查看FAQ了解如何合并GGUF文件

推理方法

简单聊天模板

{system_message}

用户: {user_message_1}

助手: {assistant_message_1}用户: {user_message_2}

助手:

带系统提示的聊天模板

{system_message}