库名称: transformers
标签:

• trl
• grpo
  许可证: apache-2.0
  数据集:
• openai/gsm8k
  语言:
• en
  基础模型:
• google/gemma-3-4b-it

Gemma-3-4b推理R1模型卡

Gemma-3-4b推理是基于Transformer架构的语言模型，采用GRPO（群体奖励策略优化）方法微调，并借鉴了DeepSeek-R1的方法论。本模型卡描述了专为推理任务优化的指令版本。

整个Gemma-3-4b推理系列均采用宽松的Apache 2.0许可证发布，所有训练脚本和配置均公开可查。

模型详情

描述

Gemma-3-4b推理是一个专注于推理任务的微调模型，旨在擅长结构化逻辑问题解决和数学推理。该模型使用GSM8K数据集通过GRPO进行训练，增强了其逐步推理和提供结构化解释的能力。

训练数据集

• GSM8K（英语）：专为数学和逻辑推理问题设计的数据集。

预期用途

直接用途

该模型专为结构化推理任务设计，包括：

• 数学与逻辑推理
• 多步骤问题求解
• 基于指令的推理

非适用范围

不得将该模型用于违反法律和道德标准的非伦理或恶意活动。

使用方法

该模型采用结构化XML模板处理对话和推理任务：

from transformers import AutoModelForCausalLM, AutoTokenizer  
import torch  

model_name = "ericrisco/gemma-3-4b-reasoning"  

prompt = "一名骑行者以恒定速度3小时行驶60公里。若保持相同速度，5小时能行驶多少公里？"  

tokenizer = AutoTokenizer.from_pretrained(model_name)  
model = AutoModelForCausalLM.from_pretrained(  
    model_name, device_map="auto", torch_dtype=torch.bfloat16  
)  

messages = [{"role": "user", "content": prompt}]  

input_text = tokenizer.apply_chat_template(  
    messages, tokenize=False, add_generation_prompt=True  
)  

inputs = tokenizer(input_text, return_tensors="pt").to("cuda")  
outputs = model.generate(**inputs, max_new_tokens=200)  
response = tokenizer.decode(outputs[0], skip_special_tokens=True)  

print(response)  

性能表现

Gemma-3-4b推理模型展现出强大的内部**思维链（CoT）**能力，在各类推理任务中持续表现出详尽的解释和结构化问题解决技能。

局限性

该模型主要针对数值和结构化推理优化，应用于无关任务时可能产生准确性较低或非预期结果。

引用文献

• Gemma多模态推理模型 谷歌
• GRPO实现 TRL

作者

Eric Risco