base_model: deepseek-ai/DeepSeek-R1-Distill-Llama-70B language:

• en library_name: transformers license: llama3.3 tags:
• deepseek
• unsloth
• transformers
• llama
• llama-3
• meta

查看我们的模型集获取Deepseek-R1的GGUF及原始格式版本。

在llama.cpp中运行本模型的指南：

或查看更详细说明：unsloth.ai/blog/deepseek-r1

1. 切勿遗漏<ÔΩúUserÔΩú>和<ÔΩúAssistantÔΩú>标记！——或使用聊天模板格式化工具

2. 获取最新版llama.cpp：GitHub链接

3. Q8_0 K量化缓存示例（注意：-no-cnv禁用自动对话模式）

   ./llama.cpp/llama-cli \
       --model unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF/DeepSeek-R1-Distill-Llama-70B-Q4_K_M.gguf \
       --cache-type-k q8_0 \
       --threads 16 \
       --prompt '<ÔΩúUserÔΩú>1加1等于几？<ÔΩúAssistantÔΩú>' \
       -no-cnv
   

   示例输出：

    <think>
    我需要计算1加1等于多少。回想学校教的基础加法，一个苹果加另一个苹果等于两个苹果。因此1加1应该是2。虽然在特殊进制下可能不同，但常规数字系统下答案明确是2。
    </think>
   

4. 若使用24GB显存的GPU（如RTX 4090），可通过分层卸载加速处理。多GPU可卸载更多层：

   ./llama.cpp/llama-cli \
   --model unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF/DeepSeek-R1-Distill-Llama-70B-Q4_K_M.gguf
   --cache-type-k q8_0 
   --threads 16 
   --prompt '<ÔΩúUserÔΩú>1加1等于几？<ÔΩúAssistantÔΩú>'
   --n-gpu-layers 20 \
    -no-cnv
   

通过Unsloth以2-5倍速度微调LLM，内存节省70%！

免费Llama 3.1 (8B) Google Colab Tesla T4笔记本：点击访问

‚ú® 免费微调服务

所有笔记本均适合新手！添加数据集后点击"全部运行"，即可获得支持GGUF/vLLM导出或上传至Hugging Face的2倍速微调模型。

• Llama 3.2对话笔记本适用于ShareGPT ChatML/Vicuna模板
• 文本补全笔记本处理原始文本
• DPO笔记本可复现Zephyr效果
• Kaggle提供双T4环境，但单T4因开销更小实际快5倍

特别鸣谢

衷心感谢DeepSeek团队创建并开源这些模型。