基础模型:

• Qwen/Qwen2.5-32B-Instruct 库名称: transformers 许可证: apache-2.0 语言:
• 日语
• 英语

ELYZA-Shortcut-1.0-Qwen-32B

模型描述

ELYZA-Shortcut-1.0-Qwen-32B 是在开发推理模型 ELYZA-Thinking-1.0-Qwen-32B 过程中衍生的非推理模型。基于 Qwen/Qwen2.5-32B-Instruct，该模型经过后训练，能够绕过逐步推理过程，直接生成最终答案（基于Qwen构建）。

在后训练阶段，模型通过监督微调（SFT）使用问题-解决方案对进行训练。这些配对是通过从基于蒙特卡洛树搜索（MCTS）算法探索的最优推理路径中移除推理步骤而获得的。更多详情，请参阅我们的博客文章。

使用方法

您可以使用 Hugging Face Transformers 库来使用该模型。以下代码是使用该模型进行推理的示例。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

模型名称 = "elyza/ELYZA-Shortcut-1.0-Qwen-32B"
提示 = "请列举5个重拾工作热情的点子。"

分词器 = AutoTokenizer.from_pretrained(模型名称)
模型 = AutoModelForCausalLM.from_pretrained(
    模型名称,
    torch_dtype="auto",
    device_map="auto",
)
模型.eval()
消息 = [{"role": "user", "content": 提示}]
输入文本 = 分词器.apply_chat_template(
    消息,
    tokenize=False,
    add_generation_prompt=True
)
令牌ID = 分词器.encode(
    输入文本, add_special_tokens=False, return_tensors="pt"
)
with torch.no_grad():
    输出ID = 模型.generate(
        令牌ID.to(模型.device),
        max_new_tokens=8192,
        do_sample=True,
        temperature=0.6,
        top_p=0.95,
    )
输出 = 分词器.decode(
    输出ID.tolist()[0][令牌ID.size(1):], skip_special_tokens=True
)
print(输出)

对于部署，推荐使用 vLLM 创建一个兼容OpenAI的服务器。

vllm serve elyza/ELYZA-Shortcut-1.0-Qwen-32B \
    --tensor-parallel-size 8 \
    --max-model-len 32768

引用方式

@misc{elyza2025thinking,
    title={elyza/ELYZA-Thinking-1.0-Qwen-32B},
    url={https://huggingface.co/elyza/ELYZA-Thinking-1.0-Qwen-32B},
    author={Masato Hirakawa and Tomoaki Nakamura and Akira Sasaki and Daisuke Oba and Shoetsu Sato},
    year={2025},
}

参考文献

@misc{qwen2.5,
    title = {Qwen2.5: 基础模型系列},
    url = {https://qwenlm.github.io/blog/qwen2.5/},
    author = {Qwen团队},
    month = {九月},
    year = {2024}
}

@article{qwen2,
      title={Qwen2技术报告},
      author={An Yang and Baosong Yang and Binyuan Hui and Bo Zheng and Bowen Yu and Chang Zhou and Chengpeng Li and Chengyuan Li and Dayiheng Liu and Fei Huang and Guanting Dong and Haoran Wei and Huan Lin and Jialong Tang and Jialin Wang and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Ma and Jin Xu and Jingren Zhou and Jinze Bai and Jinzheng He and Junyang Lin and Kai Dang and Keming Lu and Keqin Chen and Kexin Yang and Mei Li and Mingfeng Xue and Na Ni and Pei Zhang and Peng Wang and Ru Peng and Rui Men and Ruize Gao and Runji Lin and Shijie Wang and Shuai Bai and Sinan Tan and Tianhang Zhu and Tianhao Li and Tianyu Liu and Wenbin Ge and Xiaodong Deng and Xiaohuan Zhou and Xingzhang Ren and Xinyu Zhang and Xipin Wei and Xuancheng Ren and Yang Fan and Yang Yao and Yichang Zhang and Yu Wan and Yunfei Chu and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zhihao Fan},
      journal={arXiv预印本 arXiv:2407.10671},
      year={2024}
}