🚀 OctoThinker-3B-Hybrid-Zero

OctoThinker-3B-Hybrid-Zero是基于对训练中期的深入研究而构建的模型，它以Llama-3家族为基础，创建了一个适合强化学习的基础语言模型。该模型不经过任何监督微调（SFT），直接从OctoThinker-3B-Hybrid-Base开始，使用R1-Zero风格的强化学习技术进行训练。

📚 详细文档

模型信息

OctoThinker-3B-Hybrid-Base的训练方案

OctoThinker-3B-Base系列的评估结果

请注意，我们对这些基础语言模型采用了少样本提示评估方法。

OctoThinker-3B-Zero系列的强化学习训练动态

关于OctoThinker的更多信息

📄 许可证

本项目使用的许可证为llama3.2。

📚 引用

更多详细信息请查看我们的论文。如果您使用了我们的模型、数据集或认为我们的工作有帮助，请引用以下内容：

@article{wang2025octothinker,
  title={OctoThinker: Mid-training Incentivizes Reinforcement Learning Scaling},
  author={Wang, Zengzhi and Zhou, Fan and Li, Xuefeng and Liu, Pengfei},
  year={2025},
  journal={arXiv preprint arXiv:2506.20512},
  note={Preprint}
}