基础模型:

• deepseek-ai/DeepSeek-R1-Distill-Qwen-14B 许可证: apache-2.0 任务标签: 文本生成 库名称: transformers

Light-R1-14B-DS: 采用强化学习的14B参数数学SOTA模型

技术报告

GitHub页面

wandb训练日志

我们推出Light-R1-14B-DS——这是首个在轻量级算力预算下，对已具备长链思维微调的中等规模模型成功实施强化学习的开源尝试。该模型以74.0和60.2的AIME24/25成绩创下14B参数数学模型的新标杆，性能超越诸多32B模型。

现有强化学习研究多聚焦于基础模型（常以*-zero*命名）或1.5B小模型（其响应长度会先降后升），或需海量算力的QwQ-32B。而Light-R1-14B-DS在DeepSeek-R1的复现民主化进程中迈出关键一步：我们首次在已具备长链思维能力的微调模型上，观测到强化学习期间响应长度与奖励分数同步提升的理想现象（参见wandb日志）。

基于DeepSeek-R1-Distill-Qwen-14B，经过长链思维强化学习后训练，Light-R1-14B-DS在AIME24/25分别取得74.0和60.2的突破性成绩，同时在GPQA基准上未经专项训练即表现优异。我们同步发布技术报告，并将持续优化长链思维强化学习训练框架。

使用方式

与DeepSeek-R1-Distill-Qwen-14B完全兼容。

数据净化

我们对多个开源数据集进行了严格污染检测。尽管预训练阶段可能存在不可避免的基准污染，但后训练阶段的基准对比必须保持纯净。MATH-500存在数十道完全重复或仅数字修改的题目，而AIME24/25保持完整——但引入2023年前AIME数据时仍需特别警惕。

Light-R1采用精确匹配（排除数字）和N元语法（N=32）匹配进行双重净化。

引用

@misc{lightr1proj,
      title={Light-R1: 从零开始构建长链思维的课程学习、DPO与强化学习全流程}, 
      author={温亮, 蔡云柯, 肖奋瑞, 何鑫, 安琪, 段振宇, 杜一民, 刘俊辰, 唐立夫, 吕晓伟, 邹浩生, 邓永超, 贾守胜, 张向正},
      year={2025},
      eprint={},
      archivePrefix={},
      url={https://github.com/Qihoo360/Light-R1}, 
}