license: mit library_name: transformers

DeepSeek-R1

论文链接👁️

1. 简介

我们推出了第一代推理模型DeepSeek-R1-Zero和DeepSeek-R1。
DeepSeek-R1-Zero是通过大规模强化学习（RL）训练而成，无需监督微调（SFT）作为初步步骤，在推理方面表现出色。
通过强化学习，DeepSeek-R1-Zero自然涌现出许多强大且有趣的推理行为。
然而，DeepSeek-R1-Zero也面临诸如无休止重复、可读性差和语言混杂等挑战。为解决这些问题并进一步提升推理性能，
我们推出了DeepSeek-R1，它在强化学习之前加入了冷启动数据。
DeepSeek-R1在数学、代码和推理任务上的表现与OpenAI-o1相当。
为支持研究社区，我们开源了DeepSeek-R1-Zero、DeepSeek-R1以及基于Llama和Qwen从DeepSeek-R1蒸馏出的六个密集模型。DeepSeek-R1-Distill-Qwen-32B在各种基准测试中超越了OpenAI-o1-mini，为密集模型创造了新的最先进成果。

注意：在本地运行DeepSeek-R1系列模型之前，我们建议您查阅使用建议部分。

2. 模型概述

后训练：基础模型的大规模强化学习

• 我们直接在基础模型上应用强化学习（RL），无需依赖监督微调（SFT）作为初步步骤。这种方法使模型能够探索思维链（CoT）以解决复杂问题，从而开发出DeepSeek-R1-Zero。DeepSeek-R1-Zero展示了自我验证、反思和生成长思维链等能力，为研究社区树立了重要里程碑。值得注意的是，这是首个验证LLM推理能力可以仅通过强化学习激励而无需SFT的开源研究。这一突破为该领域的未来发展铺平了道路。

• 我们介绍了开发DeepSeek-R1的流程。该流程包含两个旨在发现改进推理模式并与人类偏好对齐的强化学习阶段，以及两个作为模型推理和非推理能力种子的监督微调阶段。我们相信这一流程将通过创建更好的模型使行业受益。

蒸馏：小模型同样强大

• 我们证明了大模型的推理模式可以蒸馏到小模型中，相比在小模型上通过强化学习发现的推理模式，性能更优。开源的DeepSeek-R1及其API将使研究社区未来能够蒸馏出更好的小模型。
• 利用DeepSeek-R1生成的推理数据，我们对研究社区广泛使用的几个密集模型进行了微调。评估结果表明，蒸馏后的小型密集模型在基准测试中表现优异。我们向社区开源了基于Qwen2.5和Llama3系列的1.5B、7B、8B、14B、32B和70B蒸馏检查点。

3. 模型下载

DeepSeek-R1模型

DeepSeek-R1-Zero和DeepSeek-R1基于DeepSeek-V3-Base训练而成。
关于模型架构的更多详情，请参阅DeepSeek-V3仓库。

DeepSeek-R1-Distill模型

DeepSeek-R1-Distill模型基于开源模型微调而成，使用了DeepSeek-R1生成的样本。
我们略微修改了它们的配置和分词器。请使用我们的设置运行这些模型。

4. 评估结果

DeepSeek-R1评估

对于所有模型，最大生成长度设置为32,768个标记。对于需要采样的基准测试，我们使用温度为0.6，top-p值为0.95，并为每个查询生成64个响应以估计pass@1。