库名称: transformers 数据集:

• BAAI/TACO
• tasksource/PRM800K 语言:
• 英文 基础模型:
• Qwen/Qwen2.5-32B-Instruct
• NovaSky-AI/Sky-T1-32B-Preview 许可证: apache-2.0

模型详情

模型描述

这是一个基于Sky-T1-32B-Preview优化的32B推理模型偏好版本，能在保持准确性的同时显著缩短生成长度。在数学和编程任务上的表现与o1-preview模型相当，同时相比Sky-T1-32B-Preview减少了高达57%的生成长度。更多细节请参阅我们的博客文章。

• 开发团队: 加州大学伯克利分校Sky Computing实验室的NovaSky团队。

训练详情

训练数据

10K组数学和编程领域的偏好对，由Sky-T1-32B-Preview生成。

训练过程

我们采用简单策略优化(SimPO)方法，批次大小为96，学习率为5e-7，gamma为0.3，beta为2.0。

训练速度

使用Llama-Factory进行训练。在8xH100上，采用DeepSpeed Zero-3 Offload时，SimPO训练耗时约2.5小时。

评估结果

致谢

我们要感谢Lambda Lab和AnyScale提供的计算资源。

许可证

Apache-2.0

引用

如果您的研究受益于本文，请考虑引用我们的博客文章。感谢！

@misc{reduce_overthinking_2025,
  作者       = {NovaSky团队},
  标题        = {少思考，多成就：在不牺牲准确性的前提下降低50%推理成本},
  发布方式 = {https://novasky-ai.github.io/posts/reduce-overthinking},
  备注         = {访问日期: 2025-01-23},
  年份         = {2025}
}