语言:

• 中文
• 英语
• 法语
• 西班牙语
• 葡萄牙语
• 德语
• 意大利语
• 俄语
• 日语
• 韩语
• 越南语
• 泰语
• 阿拉伯语 标签:
• unsloth
• 文本分类 许可证: apache-2.0 库名称: transformers 基础模型: Qwen/Qwen2.5-3B-Instruct 管道标签: 文本分类

GLOCON-Reasoning: 基于Qwen2.5-3B的GRPO强化学习模型

重要使用说明

必须: 使用本模型时，必须按照以下方式设置提示词，以确保模型遵循所需的结构化推理格式。若未明确设置提示词，模型输出可能不符合预期的XML结构和推理规范。

例如，在推理代码中包含以下提示词：

prompt = """
你正在识别冲突事件并将其归类到五个预定义类别之一。请仔细思考并深入推理，但在给出最终答案时，只需提供最简化的固定格式输出，不要包含任何额外文字。

响应格式：

<reasoning>
- 仔细分析文本并说明：
  1. 触发事件的具体行为
  2. 参与者或组织者
  3. 事件发生地点（城市和国家）
  4. 事件是否具有暴力性质
  5. 最适合的五个事件类别之一及原因
</reasoning>

<answer>
1. 触发因素: <具体短语>
2. 参与者: <主体1, 主体2,...>
3. 地点: <城市, 国家>
4. 暴力性质: <暴力/非暴力>
5. 类别: <示威游行/武装冲突/群体冲突/劳工行动/其他>
</answer>
"""

强化学习亮点

与传统监督微调（ConflLlama采用的方法）不同，本模型使用GRPO实现：

1. 多奖励信号同步优化
2. 通过强化信号强制结构化推理格式
3. 提升XML格式响应的一致性
4. 通过强化实现自我改进而非直接模仿

训练数据

• 数据集: GLOCON事件分类数据集
• 时间范围: 当代社会冲突事件
• 格式: 附带事件类别的新闻报道
• 标签: 五大事件类别：
  • 示威游行
  • 武装冲突
  • 群体冲突
  • 劳工行动
  • 其他

关键数学概念

多奖励策略梯度

GRPO方法通过以下公式优化策略参数：

$$\nabla_\theta J(\theta) = \mathbb{E} \left[ \sum_{i=1}^{N} w_i R_i(x, y) \nabla_\theta \log \pi_\theta(y|x) \right]$$

奖励函数

我们实现了五种专项奖励函数：

1. 准确性奖励: 正确分类得2.0分
2. 类别格式奖励: 有效类别选择得0.5分
3. 格式奖励: XML结构完整得1.0分
4. XML微奖励: 标签位置和结构的细微奖励

训练配置

• 框架: Unsloth GRPO
• 硬件: 单NVIDIA GPU配合vLLM加速
• 关键参数:
  • 批次大小: 每设备1条
  • 梯度累积步数: 4
  • 学习率: 5e-6
  • 最大步数: 1,000
  • 保存间隔: 500步
  • 日志间隔: 1步
  • 每提示样本数: 6
  • 内存利用率: 60%

模型架构优势

1. 结构化输出强制
   • 保持XML格式一致性
2. 增强推理能力
   • 最终分类前进行显式逐步推理
3. 基于奖励的改进
   • 通过多奖励信号实现自我修正

内存优化

• 采用4位量化
• 梯度检查点技术
• 最大序列长度限制为1024
• GPU内存使用率上限60%
• vLLM加速推理

应用场景

本模型适用于：

1. 带推理的民事冲突事件分类
2. 需要透明决策过程的学术研究
3. 结构化输出的事件分析
4. RL分类的教学演示

局限性

1. 固定输出结构可能限制灵活性
2. 性能依赖奖励函数质量
3. 最大序列长度1024标记限制
4. 可能过度优化奖励信号而非真实理解
5. 仅限五种预定义事件类别

引用

@misc{glocon-reasoning,
  author = {Meher, Shreyas},
  title = {GLOCON-Reasoning: Qwen2.5-3B with GRPO Reinforcement Learning},
  year = {2024},
  publisher = {HuggingFace},
  note = {基于Qwen2.5-3B-Instruct和GRPO框架}
}

致谢

• Unsloth提供GRPO实现框架
• Qwen团队提供基础模型
• Hugging Face的transformers基础设施
• vLLM团队的快速推理能力
• 本研究受NSF 2311142号奖项支持