基础模型:

• deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B 数据集:
• knoveleng/open-rs
• knoveleng/open-s1
• knoveleng/open-deepscaler 许可证: mit 任务标签: 文本生成 推理支持: true 库名称: transformers

模型概述

本仓库托管Open RS项目模型，相关论文为《强化学习在小规模大语言模型中的推理应用：有效方法与局限》。该项目探索在资源受限条件下，通过强化学习（RL）增强小型大语言模型（LLMs）的推理能力。

我们聚焦于15亿参数的DeepSeek-R1-Distill-Qwen-1.5B模型，在4块NVIDIA A40 GPU（每块48GB显存）上24小时内完成训练。通过采用组相对策略优化（GRPO）算法并利用精选的紧凑数学推理数据集，我们进行了三项实验评估性能表现。主要发现包括：

• 显著提升的推理能力：AMC23准确率从63%升至80%，AIME24达到46.7%，超越o1-preview模型
• 高效训练成本：仅需7,000样本，花费42美元，而基线模型需数千美元
• 面临的挑战：如优化不稳定性和长序列训练限制

这些成果证明基于RL的微调是小型LLMs的高性价比方案，使资源有限场景也能获得推理能力。我们开源代码、模型和数据集以支持后续研究。

更多细节请访问GitHub仓库。

评估

性能亮点

• Open-RS1: 平均得分53.0%
• Open-RS2: 平均得分55.7%，AMC23达80.0%
• Open-RS3: 平均得分56.3%，AIME24达46.7%（超越o1-preview的44.6%）
• MATH-500分数具竞争力；Minerva落后于7B模型

成本效益

我们的方法使用7,000样本（总计42,000输出），在4块A40 GPU上24小时花费约42美元，对比：

• 7B模型：Qwen2.5-7B-SimpleRL（1,633美元），Eurus-2-7B-PRIME（1,088美元）
• 1.5B模型：DeepScaleR-1.5B-Preview（3,629美元），Still-3-1.5B-Preview（2,268美元）

引用

若本项目对您的研究有所帮助，请引用：

@misc{dang2025reinforcementlearningreasoningsmall,
      title={强化学习在小规模大语言模型中的推理应用：有效方法与局限}, 
      author={Quy-Anh Dang and Chris Ngo},
      year={2025},
      eprint={2503.16219},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2503.16219}, 
}