基础模型:

• deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 许可证: apache-2.0 任务类型: 文本生成 库名称: transformers

Light-R1-7B-DS：仅用3K数据打造的SOTA级7B数学模型

技术报告

GitHub页面

Light-R1-7B-DS是我们所知当前开源的7B数学模型中性能最优的，其AIME24和25分数分别达到59.1和44.3。 该模型在GPQA上的表现同样出色，且未经过任何针对性训练。

基于DeepSeek-R1-Distill-Qwen-7B，Light-R1-7B-DS仅通过我们开源的3K SFT数据进行微调，充分证明了所发布数据的强大适用性。

我们很高兴能发布这一模型及相关的技术报告。

使用方法

与DeepSeek-R1-Distill-Qwen-7B相同。

数据去污染

我们对多个开源数据集的数据污染情况进行了仔细评估。 尽管在预训练阶段某些污染可能是不可避免的， 但在后训练阶段对标基准测试时，这种情况是不可接受的。 MATH-500数据集存在数十道题目完全相同或仅数字有变化的问题。AIME 24和25的数据保持完整，但在整合截至2023年的AIME数据时需特别谨慎。

Light-R1通过精确匹配（排除数字）和N-gram（N=32）匹配进行了彻底的去污染处理。

引用

@misc{lightr1proj,
      title={Light-R1: Curriculum SFT, DPO and RL for Long COT from Scratch and Beyond}, 
      author={Liang Wen, Yunke Cai, Fenrui Xiao, Xin He, Qi An, Zhenyu Duan, Yimin Du, Junchen Liu, Lifu Tang, Xiaowei Lv, Haosheng Zou, Yongchao Deng, Shousheng Jia, Xiangzheng Zhang},
      year={2025},
      eprint={},
      archivePrefix={},
      url={https://github.com/Qihoo360/Light-R1}, 
}