库名称: transformers 标签:

• transformers
• 文本生成推理
• 文本生成
• 推理
• R1推理
• 微调 许可证: mit 数据集:
• openai/gsm8k 语言:
• 中文
• 英语
• 法语
• 西班牙语
• 葡萄牙语
• 德语
• 意大利语
• 俄语
• 日语
• 韩语
• 越南语
• 泰语
• 阿拉伯语 基础模型:
• Qwen/Qwen2.5-7B-Instruct 管道标签: 文本生成

Qwen-2.5-7B-Reasoning (由HyperX-Sen微调)

🚀 模型概述

本模型是基于Qwen/Qwen2.5-7B-Instruct微调的版本，专门针对高级推理任务进行了优化。通过在OpenAI GSM8K数据集上进行微调，显著提升了多步推理和问题解决能力。

🔧 微调细节

• 基础模型: Qwen/Qwen2.5-7B-Instruct
• 微调者: HyperX-Sen
• 数据集: GSM8K (小学8K数学题)
• 硬件: 2× Tesla T4 GPU
• 目标: 提升复杂推理和逻辑演绎能力

📈 性能提升

通过在GSM8K上的微调，模型在以下方面得到改进:

• 数学推理
• 逐步逻辑演绎
• 常识推理
• 文字问题解决

这使得它非常适合需要高级推理的应用场景，如AI辅导、研究辅助和问题解决AI代理。

🛠 使用方法

from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载模型和分词器
model_name = "HyperX-Sen/Qwen-2.5-7B-Reasoning"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

SYSTEM_PROMPT = """
请按以下格式回答:
<reasoning>
...
</reasoning>
<answer>
...
</answer>
"""

# 定义对话
messages = [
    {"role": "system", "content": f"{SYSTEM_PROMPT}"},
    {"role": "user", "content": "人工智能对就业可能产生哪些影响？"}
]

# 格式化聊天输入
input_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

# 对格式化输入进行分词
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)

# 生成响应
output = model.generate(**inputs, max_length=512, do_sample=True, temperature=0.7)

# 解码并显示响应
response = tokenizer.decode(output[0], skip_special_tokens=True)
print(response)

🙌 致谢

衷心感谢Qwen团队提供强大的Qwen2.5-7B-Instruct基础模型，使本次微调成为可能。