license: mit language:

• zh
• en pipeline_tag: text-generation library_name: transformers

GLM-4-Z1-32B-0414

模型介绍

GLM家族迎来新一代开源模型——GLM-4-32B-0414系列，具备320亿参数规模。其性能表现与OpenAI的GPT系列、DeepSeek的V3/R1系列相当，并支持非常友好的本地部署特性。GLM-4-32B-Base-0414基于15T高质量数据（含大量推理型合成数据）进行预训练，为后续强化学习扩展奠定基础。在后训练阶段，除对话场景的人类偏好对齐外，我们还通过拒绝采样、强化学习等技术增强模型在指令遵循、工程代码和函数调用等方面的能力，强化了智能体任务所需的原子能力。GLM-4-32B-0414在工程代码、Artifact生成、函数调用、基于搜索的问答和报告生成等领域取得良好效果，部分基准测试甚至可媲美GPT-4o、DeepSeek-V3-0324(671B)等更大规模模型。

GLM-Z1-32B-0414是具备深度思考能力的推理模型。这是在GLM-4-32B-0414基础上通过冷启动和扩展强化学习，以及针对数学、代码和逻辑类任务的进一步训练开发而成。相比基础模型，GLM-Z1-32B-0414显著提升了数学能力和复杂任务解决能力。训练过程中我们还引入了基于成对排序反馈的通用强化学习，进一步增强了模型的通用能力。

GLM-Z1-Rumination-32B-0414是具备沉思能力的深度推理模型（对标OpenAI深度研究）。与普通深度思考模型不同，沉思模型通过更长时间的深度思考来解决更开放、更复杂的问题（例如撰写两个城市AI发展对比分析及未来发展规划）。沉思模型在深度思考过程中会结合搜索工具处理复杂任务，并通过利用多组规则奖励来引导和扩展端到端强化学习进行训练。Z1-Rumination在研究式写作和复杂检索任务上展现出显著提升。

最后，GLM-Z1-9B-0414是个惊喜。我们运用前述系列技术训练出保持开源传统的9B小尺寸模型。虽然规模较小，GLM-Z1-9B-0414仍展现出优秀的数理推理和通用能力，整体性能已处于同尺寸开源模型的领先水平。特别是在资源受限场景下，该模型实现了效率与效果的绝佳平衡，为需要轻量级部署的用户提供了有力选择。

性能表现

模型使用指南

一、采样参数

二、强制思考机制

• 在首行添加<think>\n：确保模型先思考后应答
• 使用chat_template.jinja时会自动注入该提示实现强制思考

三、对话历史修剪

• 仅保留最终用户可见回复
  隐藏的思考内容不应存入历史以减少干扰——该逻辑已在chat_template.jinja中实现

四、长上下文处理(YaRN)

• 当输入长度超过8,192 tokens时可考虑启用YaRN(Rope缩放)

• 在支持框架的config.json中添加如下片段：

  "rope_scaling": {
    "type": "yarn",
    "factor": 4.0,
    "original_max_position_embeddings": 32768
  }
  

• 静态YaRN会统一作用于所有文本。可能轻微影响短文本性能，请按需启用。

推理代码

确保使用transforemrs>=4.51.3。

from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_PATH = "THUDM/GLM-4-Z1-32B-0414"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForCausalLM.from_pretrained(MODEL_PATH, device_map="auto")

message = [{"role": "user", "content": "设a,b为正实数且满足ab = a + b + 3。求a + b的取值范围。"}]

inputs = tokenizer.apply_chat_template(
    message,
    return_tensors="pt",
    add_generation_prompt=True,
    return_dict=True,
).to(model.device)

generate_kwargs = {
    "input_ids": inputs["input_ids"],
    "attention_mask": inputs["attention_mask"],
    "max_new_tokens": 4096,
    "do_sample": False,
}
out = model.generate(**generate_kwargs)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

引用声明

若您认为我们的工作有帮助，请考虑引用以下论文。

@misc{glm2024chatglm,
      title={ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools}, 
      author={Team GLM and Aohan Zeng and Bin Xu and Bowen Wang and Chenhui Zhang and Da Yin and Diego Rojas and Guanyu Feng and Hanlin Zhao and Hanyu Lai and Hao Yu and Hongning Wang and Jiadai Sun and Jiajie Zhang and Jiale Cheng and Jiayi Gui and Jie Tang and Jing Zhang and Juanzi Li and Lei Zhao and Lindong Wu and Lucen Zhong and Mingdao Liu and Minlie Huang and Peng Zhang and Qinkai Zheng and Rui Lu and Shuaiqi Duan and Shudan Zhang and Shulin Cao and Shuxun Yang and Weng Lam Tam and Wenyi Zhao and Xiao Liu and Xiao Xia and Xiaohan Zhang and Xiaotao Gu and Xin Lv and Xinghan Liu and Xinyi Liu and Xinyue Yang and Xixuan Song and Xunkai Zhang and Yifan An and Yifan Xu and Yilin Niu and Yuantao Yang and Yueyan Li and Yushi Bai and Yuxiao Dong and Zehan Qi and Zhaoyu Wang and Zhen Yang and Zhengxiao Du and Zhenyu Hou and Zihan Wang},
      year={2024},
      eprint={2406.12793},
      archivePrefix={arXiv},
      primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='自然语言处理相关研究。大致涵盖ACM学科分类I.2.7中的内容。需注意若人工语言(编程语言、逻辑、形式系统)的研究未明确涉及广义自然语言问题(自然语言处理、计算语言学、语音、文本检索等)，则不属于本领域范畴。'}
}