基础模型：SakanaAI/TinySwallow-1.5B-Instruct
数据集：

• kunishou/OpenMathInstruct-1-1.8m-ja
  库名称：transformers
  模型名称：OpenRS3-GRPO-ja
  标签：
• 训练生成
• open-r1
• trl
• grpo
  许可证：license

OpenRS3-GRPO-ja 模型卡

该模型是基于 SakanaAI/TinySwallow-1.5B-Instruct 在 kunishou/OpenMathInstruct-1-1.8m-ja 数据集上微调得到的版本。
训练使用了 TRL 框架，共进行了 300 步训练。

快速开始

from transformers import pipeline  

question = "如果你有一台时光机，但只能选择回到过去或前往未来一次且无法返回，你会如何选择？为什么？"  
generator = pipeline("text-generation", model="stardust-eques/OpenRS-GRPO-ja", device="cuda")  
output = generator([{"role": "user", "content": question}], max_new_tokens=128, return_full_text=False)[0]  
print(output["generated_text"])  

训练流程

该模型采用 DeepSeekMath: 突破开放语言模型数学推理的极限 中提出的 GRPO 方法进行训练。

框架版本

• TRL: 0.16.0.dev0
• Transformers: 4.49.0
• Pytorch: 2.5.1
• Datasets: 3.5.0
• Tokenizers: 0.21.1

引用

引用 GRPO 方法：

@article{zhihong2024deepseekmath,  
    title        = {{DeepSeekMath: 突破开放语言模型数学推理的极限}},  
    author       = {邵志宏、王培毅、朱启浩、徐润新、宋俊晓、张明川、李永康、吴毅、郭大业},  
    year         = 2024,  
    eprint       = {arXiv:2402.03300},  
}  

引用 TRL 框架：

@misc{vonwerra2022trl,  
	title        = {{TRL: 基于Transformer的强化学习}},  
	author       = {Leandro von Werra、Younes Belkada、Lewis Tunstall、Edward Beeching、Tristan Thrush、Nathan Lambert、Shengyi Huang、Kashif Rasul、Quentin Gallouédec},  
	year         = 2020,  
	journal      = {GitHub 仓库},  
	publisher    = {GitHub},  
	howpublished = {\url{https://github.com/huggingface/trl}}  
}