base_model: deepseek-ai/DeepSeek-R1 language:

• en license: mit library_name: transformers tags:
• deepseek
• unsloth
• transformers

查看我们的模型集获取Deepseek-R1的各个版本，包括GGUF、4-bit和原始格式。

在llama.cpp中运行此模型的说明：

详细操作指南请参阅我们的博客：unsloth.ai/blog/deepseek-r1

1. 不要忘记使用和标记！- 或者使用聊天模板格式化工具

2. 获取最新版llama.cpp：https://github.com/ggerganov/llama.cpp

3. 使用Q8_0 K量化缓存的示例 注意：-no-cnv禁用自动对话模式

   ./llama.cpp/llama-cli \
       --model unsloth/DeepSeek-R1-Distill-Llama-8B-GGUF/DeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf \
       --cache-type-k q8_0 \
       --threads 16 \
       --prompt '1+1等于多少？' \
       -no-cnv
   

   示例输出：

    <思考>
    好的，我需要计算1加1等于多少。嗯，从哪里开始呢？我记得在学校学过加法是很基础的，但我想确保自己理解正确。
    让我想想，1加1。比如一个苹果加另一个苹果。如果我有一个苹果，别人又给我一个，那我现在就有两个苹果。所以，1加1应该是2。这很合理。
    等等，但有时候数学可能有点复杂。会不会有其他答案？比如在不同的数字系统中？不过我觉得这个问题很简单，用的是常规数字，不是二进制或十六进制之类的。
    我还记得算术中加法是把数量合并。所以，如果你有两个1，合并起来就是2。对，这应该是对的。
    有没有1加1不等于2的情况？我想不出来...
   

4. 如果你有GPU（例如RTX 4090，24GB显存），可以将多个层卸载到GPU上以加快处理速度。如果有多个GPU，可以卸载更多层。

   ./llama.cpp/llama-cli \
   --model unsloth/DeepSeek-R1-Distill-Llama-8B-GGUF/DeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf
   --cache-type-k q8_0 
   --threads 16 
   --prompt '1+1等于多少？'
   --n-gpu-layers 20 \
    -no-cnv
   

使用Unsloth以2-5倍的速度微调LLM，内存减少70%！

我们提供了一个免费的Google Colab Tesla T4笔记本，用于Llama 3.1（8B）：https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Llama3.1_(8B)-Alpaca.ipynb

✨ 免费微调

所有笔记本都适合初学者！只需添加你的数据集，点击“全部运行”，即可获得一个速度提升2倍的微调模型，并可导出为GGUF、vLLM格式或上传到Hugging Face。

• 这个Llama 3.2对话笔记本适用于ShareGPT ChatML / Vicuna模板。
• 这个文本补全笔记本用于原始文本。这个DPO笔记本复现了Zephyr。
• * Kaggle提供2个T4，但我们只使用1个。由于开销，1个T4比2个快5倍。

特别感谢

非常感谢DeepSeek团队创建并发布了这些模型。