许可证：apache-2.0
语言：

• 英文
  基础模型：
• deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
  任务标签：文本生成
  库名称：transformers

欢迎使用由PKU-DS-LAB打造的FairyR1-32B模型！

简介

FairyR1-32B是一款高效的大型语言模型（LLM），尽管仅使用了约5%的参数，但在特定任务上的表现却能与更大规模的模型相媲美甚至超越。该模型基于DeepSeek-R1-Distill-Qwen-32B，采用了一种新颖的“蒸馏与合并”流程——结合任务导向的微调和模型合并技术，以显著降低的模型规模和推理成本提供具有竞争力的性能。本项目由国家自然科学基金（编号624B2005）资助。

模型详情

FairyR1模型是对我们早期工作TinyR1的进一步探索，保留了核心的“分支-合并蒸馏”方法，同时在数据处理和模型架构上进行了优化。

在此次研究中，我们彻底改进了蒸馏数据流程：首先将来自AIMO/NuminaMath-1.5（数学）和OpenThoughts-114k（编程）等数据集的原始样本通过多个“教师”模型生成候选答案。这些候选答案经过精心筛选、重构和优化，尤其是针对思维链（CoT）部分。随后，我们进行了多阶段过滤——包括对数学问题的自动正确性检查以及基于长度的筛选（数学样本2K–8K tokens，编程样本4K–8K tokens）。最终得到了约6.6K个数学样本和3.8K个编程样本的精选训练集。

在模型架构方面，我们不再像之前那样训练三个独立的专家模型，而是仅专注于两个领域专家（数学和编程），每个模型在相同的超参数（如学习率和批量大小）下独立训练约五个周期。随后，我们使用AcreeFusion工具将这些专家模型融合为一个32B参数的统一模型。通过简化数据蒸馏流程和专家模型合并过程，FairyR1仅用大规模模型的一小部分参数和计算成本，就实现了具有竞争力的任务表现。

结果分析与关键贡献：

测试结果显示，FairyR1在AIME 2025和LiveCodeBench基准测试中略优于DeepSeek-R1-671B，在AIME 2024上表现相当。

这些结果表明，基于DeepSeek-R1-Distill-Qwen-32B并通过针对性技术优化，FairyR1在数学和编程领域仅使用约5%的参数就实现了与更大模型相当或略优的性能，尽管在其他领域（如科学问答）可能仍存在差距。

这项工作证明了通过优化的数据处理和模型融合技术，可以在保持强大任务性能的同时显著减少模型规模和潜在推理成本的可行性。

模型描述

• 开发团队： PKU-DS-LAB
• 模型类型： 推理模型
• 支持语言： 英文、中文
• 许可证： apache-2.0
• 微调基础模型： DeepSeek-R1-Distill-Qwen-32B

训练数据

• 数学： 来自AI-MO/NuminaMath-1.5的6.6k条思维链轨迹（默认子集）
• 编程： 来自open-thoughts/OpenThoughts-114k的3.8k条思维链轨迹（编程子集）

硬件使用

• 硬件类型： 32 × NVIDIA-H100
• 数学训练耗时： 2.5小时
• 编程训练耗时： 1.5小时
• 模型合并： 约40分钟（仅需CPU，无需GPU）

评估集

• AIME 2024/2025（数学）：评估32次并报告平均准确率。AIME 2024包含30道题。AIME 2025分为Part I和Part II，共30题。
• LiveCodeBench（编程）：评估8次并报告平均准确率。数据集版本为"release_v5"（时间范围：2024-08-01至2025-02-01），共279道题。
• GPQA-Diamond（科学问答）：评估8次并报告平均准确率。数据集包含198道题。

FairyR1系列团队成员：

项目领导：
杨桐

核心贡献者：
王力；周俊廷；刘文瑞；姚一伦；王荣乐

模型卡联系方式

如需更多详情，请联系：yangtong@pku.edu.cn