库名称：transformers
许可证：apache-2.0
支持语言：

• 日语
  基础模型：
• Qwen/Qwen2.5-32B-Instruct
• abeja/ABEJA-Qwen2.5-32b-Japanese-v0.1
• Qwen/QwQ-32B
  任务标签：文本生成

ABEJA-QwQ32b-Reasoning-Japanese-v1.0

ABEJA-QwQ32b-Reasoning-Japanese-v1.0是基于abeja/ABEJA-Qwen2.5-32b-Japanese-v0.1(*)开发的推理模型。

该模型在ABEJA-Qwen2.5-32b-Japanese-v0.1的基础上，融合了Qwen/QwQ-32B的ChatVector后，通过追加训练确保了日语推理性能。

(*)以Qwen/Qwen2.5-32B-Instruct为基础，进行以日语为中心的持续预训练后的模型

模型会在<think></think>标签包裹的思考过程后输出最终结果。

使用须知

本模型继承了QwQ-32B的特性，建议遵循QwQ-32B的使用指南：
https://huggingface.co/Qwen/QwQ-32B#usage-guidelines

特别注意：

• 强制触发思考过程时，请从<think>\n后开始输出。使用apply_chat_template并设置add_generation_prompt=True可自动实现。
• 推荐参数：Temperature=0.6、TopP=0.95、MinP=0、TopK在20至40之间（大幅调整这些值会导致精度下降）。
• 多轮对话时，历史记录只需包含最终输出，不要包含<think></think>的思考过程。该功能已集成在apply_chat_template中。
• 无需系统提示，请直接从role:user开始对话。

使用方法

import torch  
from transformers import AutoModelForCausalLM, AutoTokenizer  

model_name = "abeja/ABEJA-QwQ32b-Reasoning-Japanese-v1.0"  

model = AutoModelForCausalLM.from_pretrained(  
    model_name,  
    torch_dtype="auto",  
    device_map="auto"  
)  
tokenizer = AutoTokenizer.from_pretrained(model_name)  

prompt = "人类与AI如何实现协作？"  
messages = [  
    {"role": "user", "content": prompt}  
]  
text = tokenizer.apply_chat_template(  
    messages,  
    tokenize=False,  
    add_generation_prompt=True  
)  
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)  

generated_ids = model.generate(  
    **model_inputs,  
    max_new_tokens=32768  
)  
generated_ids = model.generate(  
    **model_inputs,  
    max_new_tokens=32768,  
    do_sample=True,  
    temperature=0.6,  
    top_k=40,  
    top_p=0.95,  
)  
generated_ids = [  
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)  
]  

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]  

print(response)  

开发团队

• 清田浩
• 藤本圭佑
• 中西健太郎
• 服部恭
• 大谷真也
• 村主正吾
• 久米拓马
• 真边智树

（按字母顺序排列）