基础模型: Gensyn/Qwen2.5-0.5B-Instruct 库名称: transformers 模型名称: Qwen2.5-0.5B-Instruct-Gensyn-Swarm-peaceful_exotic_butterfly 标签:

• 训练生成
• 强化学习群体
• GRPO算法
• gensyn项目
• 我是宁静的异域蝴蝶
• TRL框架 许可证: license

Qwen2.5-0.5B-Instruct-Gensyn-Swarm-peaceful_exotic_butterfly模型卡

本模型是基于Gensyn/Qwen2.5-0.5B-Instruct的微调版本，采用TRL框架进行训练。

快速开始

from transformers import pipeline

question = "如果你有一台时光机，但只能选择前往过去或未来一次且无法返回，你会如何选择？为什么？"
generator = pipeline("text-generation", model="juliannode/Qwen2.5-0.5B-Instruct-Gensyn-Swarm-peaceful_exotic_butterfly", device="cuda")
output = generator([{"role": "user", "content": question}], max_new_tokens=128, return_full_text=False)[0]
print(output["generated_text"])

训练流程

该模型采用DeepSeekMath: 突破开放语言模型数学推理极限论文中提出的GRPO方法进行训练。

框架版本

• TRL: 0.15.2
• Transformers: 4.51.3
• Pytorch: 2.5.1
• 数据集: 3.5.0
• 分词器: 0.21.1

引用文献

GRPO引用格式:

@article{zhihong2024deepseekmath,
    title        = {{DeepSeekMath: 突破开放语言模型数学推理极限}},
    author       = {邵志宏、王培毅、朱启浩、徐润新、宋俊晓、张铭传、李永康、吴毅、郭大冶},
    year         = 2024,
    eprint       = {arXiv:2402.03300},
}

TRL引用格式:

@misc{vonwerra2022trl,
	title        = {{TRL: 基于Transformer的强化学习}},
	author       = {莱安德罗·冯·维拉、尤尼斯·贝尔卡达、刘易斯·坦斯托尔、爱德华·比钦、特里斯坦·思拉什、内森·兰伯特、黄胜意、卡希夫·拉苏尔、昆汀·加卢埃德克},
	year         = 2020,
	journal      = {GitHub仓库},
	publisher    = {GitHub},
	howpublished = {\url{https://github.com/huggingface/trl}}
}