基础模型:

• deepseek-ai/DeepSeek-R1-Distill-Qwen-32B 许可证: apache-2.0 库名称: transformers 任务标签: 文本生成

Light-R1-32B-DS: 仅用3K数据实现的近SOTA级32B数学模型

论文: https://huggingface.co/papers/2503.10460

技术报告

GitHub页面

Light-R1-32B-DS是一款近SOTA水平的32B数学模型，在AIME24和25测试中分别获得78.1和65.9的高分。

该模型基于DeepSeek-R1-Distill-Qwen-32B，仅使用我们已开源的3K SFT数据进行微调，充分证明了所发布数据的强大适用性。

我们很高兴能同步发布该模型及技术报告。

使用方法

与DeepSeek-R1-Distill-Qwen-32B相同。

数据净化处理

我们对多个开源数据集进行了严格的数据污染评估。虽然预训练阶段某些污染可能难以避免，但在后训练阶段对标基准测试时绝不可接受。MATH-500数据集存在数十道完全重复或仅数字改动的问题，而AIME24和25数据集保持完整，但在纳入截至2023年的AIME数据时需要特别谨慎。

Light-R1通过精确匹配（排除数字）和N-gram（N=32）匹配技术进行了彻底的数据净化处理。

引用

@misc{lightr1proj,
      title={Light-R1: 从零开始构建长链思维训练的课程SFT、DPO与强化学习框架}, 
      author={温亮, 蔡云柯, 肖奋锐, 何鑫, 安琪, 段振宇, 杜一民, 刘俊辰, 唐力夫, 吕晓伟, 邹浩生, 邓永超, 贾守胜, 张向正},
      year={2025},
      eprint={},
      archivePrefix={},
      url={https://github.com/Qihoo360/Light-R1}, 
}