许可证：apache-2.0
许可证链接：https://huggingface.co/Gensyn/Qwen2.5-0.5B-Instruct/blob/main/LICENSE
语言：

• 英文
  任务标签：文本生成
  基础模型：Qwen/Qwen2.5-0.5B
  标签：
• 聊天
• 强化学习群
• gensyn
  库名称：transformers

Qwen2.5-0.5B-Instruct

简介

本模型专为Gensyn强化学习群设计，用于通过点对点强化学习进行本地微调训练。

微调完成后，该模型可正常用于任何工作流程，具体使用方法请参考原始模型文档。

关于原始模型的更多详情，请参阅原始仓库。

本仓库包含未修改版本的0.5B Qwen2.5指令微调模型，具有以下特性：

• 类型：因果语言模型
• 训练阶段：预训练与后训练
• 架构：采用RoPE、SwiGLU、RMSNorm、注意力QKV偏置及绑定词嵌入的transformers
• 参数量：0.49B
• 非嵌入参数量：0.36B
• 层数：24
• 注意力头数（GQA）：Q为14头，KV为2头
• 上下文长度：完整32,768 tokens，生成8192 tokens

要求

本模型专为Gensyn强化学习群系统设计，若在群外使用，硬件要求请参考原始Qwen仓库。

快速开始

要将本模型部署至强化学习群或参与Gensyn测试网，请遵循RL Swarm仓库的指引，阅读测试网说明，了解RL Swarm概述，或查阅RL Swarm技术报告。