许可证：apache-2.0
许可证链接：https://huggingface.co/Gensyn/Qwen2.5-1.5B-Instruct/blob/main/LICENSE
语言：

• 英文
  任务标签：文本生成
  基础模型：Qwen/Qwen2.5-1.5B
  标签：
• 聊天
• rl-swarm
• gensyn
  库名称：transformers

Qwen2.5-1.5B-Instruct

简介

该模型专为Gensyn RL Swarm设计，用于通过点对点强化学习进行本地微调后训练。

微调完成后，该模型可正常用于任何工作流程。具体使用方法请参考原始模型文档。

有关原始模型的更多详情，请参阅原始仓库。

本仓库包含未经修改的1.5B参数Qwen2.5指令微调模型，具有以下特性：

• 类型：因果语言模型
• 训练阶段：预训练与后训练
• 架构：采用RoPE、SwiGLU、RMSNorm、注意力QKV偏置及绑定词嵌入的transformers
• 参数量：1.54B
• 非嵌入参数量：1.31B
• 层数：28
• 注意力头数（GQA）：Q为12头，KV为2头
• 上下文长度：完整支持32,768令牌，生成支持8,192令牌

要求

该模型专为Gensyn RL Swarm系统设计。若在集群外使用，请参考Qwen原始仓库获取模型要求。

快速开始

要将该模型部署至集群或参与Gensyn测试网，请遵循RL Swarm仓库的指引，阅读测试网说明，了解RL Swarm概述，或查阅RL Swarm技术报告。