标签:

• unsloth 基础模型:
• THUDM/GLM-4-32B-0414 许可证: mit 语言:
• 中文
• 英文 管道标签: 文本生成 库名称: transformers

GLM-4-32B-0414

简介

GLM家族迎来新成员——GLM-4-32B-0414系列模型，拥有320亿参数。其性能可与OpenAI的GPT系列和DeepSeek的V3/R1系列相媲美，同时支持非常友好的本地部署特性。GLM-4-32B-Base-0414在15T高质量数据上进行预训练，其中包含大量推理型合成数据，为后续强化学习扩展奠定了基础。在后训练阶段，我们针对对话场景进行了人类偏好对齐，并采用拒绝采样和强化学习等技术，增强了模型在指令遵循、工程代码和函数调用方面的表现，从而强化了智能体任务所需的原子能力。GLM-4-32B-0414在工程代码、Artifact生成、函数调用、基于搜索的问答和报告生成等方面取得了良好效果。特别是在代码生成或特定问答任务等多项基准测试中，GLM-4-32B-Base-0414与GPT-4o和DeepSeek-V3-0324（671B）等更大规模的模型表现相当。

GLM-Z1-32B-0414是一款具备深度思考能力的推理模型。该模型基于GLM-4-32B-0414通过冷启动、扩展强化学习，并在数学、代码和逻辑等任务上进一步训练开发而成。与基础模型相比，GLM-Z1-32B-0414显著提升了数学能力和解决复杂任务的能力。在训练过程中，我们还引入了基于成对排序反馈的通用强化学习，进一步增强了模型的通用能力。

GLM-Z1-Rumination-32B-0414是一款具备反刍能力的深度推理模型（对标OpenAI的深度研究）。与典型的深度思考模型不同，反刍模型能够进行更深、更长时间的思考，以解决更开放和复杂的问题（例如撰写两座城市AI发展的对比分析及其未来发展计划）。Z1-Rumination通过扩展端到端强化学习进行训练，其响应由真实答案或评分标准进行分级，并能在深度思考过程中利用搜索工具处理复杂任务。该模型在研究式写作和复杂任务方面表现出显著提升。

最后，GLM-Z1-9B-0414是一个惊喜。我们采用了上述所有技术训练了一个小型模型（9B）。GLM-Z1-9B-0414在数学推理和通用任务上展现出卓越的能力，其综合表现在同规模开源模型中名列前茅。尤其在资源受限的场景下，该模型在效率和效果之间实现了出色的平衡，为寻求轻量级部署的用户提供了强有力的选择。

展示

动画生成

网页设计

GLM-4-32B-0414	GLM-4-32B-0414
设计一个支持自定义函数绘制的画板，允许添加和删除自定义函数，并为函数分配颜色。	设计一个移动机器学习平台的UI，应包括训练任务、存储管理和个人统计界面。个人统计界面需使用图表展示用户一段时间内的资源使用情况。使用Tailwind CSS设计页面样式，并将这3个移动界面平铺在一个HTML页面上。

SVG生成

GLM-4-32B-0414	GLM-4-32B-0414
使用SVG创作一幅烟雨江南的场景。	使用SVG展示LLM的训练过程。

基于搜索的写作

对于基于搜索的写作任务，我们使用以下系统提示让模型根据搜索结果作答：

请根据所给搜索返回结果对用户问题进行作答。

## 注意
1. 充分利用和整理收集到的信息，而不是简单的复制粘贴，生成符合用户要求且有深度的专业答案。
2. 所提供信息充分的情况下，你的回答需尽可能延长，从用户意图角度出发，提供具有足够信息量和多角度的回复。
3. 另外，并非所有的搜索结果都与用户问题密切相关，请仔细的甄别、筛选和利用。
4. 客观类问答的答案通常非常简短，你可以适当补充一到两句相关信息，以丰富内容。
5. 请确保你的回复格式美观、可读性强。对于多实体对比或列举，善用列表格式来帮助用户更好的理解信息。
6. 除非用户要求，否则你回答的语言请于用户提问语言保持一致。
7. 在适当情况下在句子末尾使用例如:【0†source】的格式引用搜索结果。

使用时，可通过RAG或WebSearch等方式获取搜索结果，并包装在observation中，例如：

[
    {
        "role": "user",
        "content": "探索儿童文学的普遍特征，重点关注其叙事技巧和主题倾向。这包括叙事技巧：儿童文学中常见的手法如第一人称、第三人称、全知叙述者及互动叙事，及其对年轻读者的影响。还包括主题倾向：儿童文学中反复出现的主题如成长、冒险、友谊和家庭，并分析这些主题如何影响儿童的认知和情感发展。此外，还应考虑其他普遍特征如拟人化、重复性语言、象征与隐喻的使用以及教育价值。请基于学术研究、儿童文学经典案例和专家意见提供详细的分析报告。"
    },
    {
        "role": "observation",
        "content": "【{id}†{title}†{url}】\n{content}"
    },
    ...
]

对于上述提示，我们使用内部或外部搜索模型获取搜索结果。采用上述格式包装后，可生成如下分析报告：

函数调用

GLM-4-32B-0414支持以JSON格式调用外部工具。可通过HuggingFace Transformers、vLLM或sgLang实现。
工具调用的消息格式如下：

{
    "role": "asssitant", 
    "metadata": function_name, 
    "content": json.dumps(call_arguments, ensure_ascii=False)
}

工具执行结果的消息格式如下：

{
    "role": "observation", 
    "content": json.dumps(tool_response, ensure_ascii=False) if not isinstance(tool_response, str) else tool_response
}

以下示例展示了GLM-4-32B-0414通过HuggingFace Transformers调用工具并生成最终响应的过程。

import json
import re
import ast
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_PATH = "THUDM/GLM-4-32B-0414"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForCausalLM.from_pretrained(MODEL_PATH, device_map="auto")

def is_function_call(single_message):
    """判断当前系统消息是否为函数调用。"""
    pattern = re.compile(r'([^\n`]*?)\n({.*?})(?=\w*\n|$)', re.DOTALL)
    matches = pattern.findall(single_message)
    if not matches:
        return False

    func_name, args_str = matches[0]
    func_name = func_name.strip()
    try:
        parsed_args = json.loads(args_str)
    except json.JSONDecodeError:
        try:
            parsed_args = ast.literal_eval(args_str)
        except:
            return False
    
    return {"name": func_name, "arguments": parsed_args}

def realtime_aqi(city):
    """天气查询工具"""
    if '北京' in city.lower():
        return json.dumps({'city': '北京', 'aqi': '10', 'unit': 'celsius'}, ensure_ascii=False)
    elif '上海' in city.lower():
        return json.dumps({'city': '上海', 'aqi': '72', 'unit': 'fahrenheit'}, ensure_ascii=False)
    else:
        return json.dumps({'city': city, 'aqi': 'unknown'}, ensure_ascii=False)

def build_system_prompt(tools):
    """根据可用工具列表构建系统提示。"""
    if tools is None:
        tools = []
    value = "# 可用工具"
    contents = []
    for tool in tools:
        content = f"\n\n## {tool['function']['name']}\n\n{json.dumps(tool['function'], ensure_ascii=False, indent=4)}"
        content += "\n在调用上述函数时，请使用 Json 格式表示调用的参数。"
        contents.append(content)
    value += "".join(contents)
    return value

tools = [
  {
    "type": "function", 
    "function": {
      "name": "realtime_aqi",
      "description": "天气预报。获取实时空气质量。当前空气质量，PM2.5，PM10信息",
      "parameters": {
          "type": "object",
          "properties": {
              "city": {
                  "description": "城市名"
              }
          },
          "required": [
              "city"
          ]
      }
	}
  }
]

system_prompt = build_system_prompt(tools)

message = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": "北京和上海今天的天气情况"}
]
print(f"用户消息: {message[-1]['content']}")

while True:
    inputs = tokenizer.apply_chat_template(
        message,
        return_tensors="pt",
        add_generation_prompt=True,
        return_dict=True,
    ).to(model.device)

    generate_kwargs = {
        "input_ids": inputs["input_ids"],
        "attention_mask": inputs["attention_mask"],
        "max_new_tokens": 1024,
        "do_sample": True,
    }
    out = model.generate(**generate_kwargs)
    generate_resp = tokenizer.decode(out[0][inputs["input_ids"].shape[1]:-1], skip_special_tokens=False)
    stop_sequence = tokenizer.decode(out[0][-1:], skip_speical_tokens=False)
    if stop_sequence == "<|user|>":
        print(f"助手响应: {generate_resp.strip()}")
        break

    function_calls = []
    for m in generate_resp.split("<|assistant|>"):
        fc_decode = is_function_call(m.strip())
        if fc_decode:
            message.append({"role": "assistant", "metadata": fc_decode['name'], "content": json.dumps(fc_decode['arguments'], ensure_ascii=False)})
            print(f"函数调用: {fc_decode}")
            function_calls.append(fc_decode)
        else:
            message.append({"role": "assistant", "content": m})
            print(f"助手响应: {m.strip()}")
    
    for fc in function_calls:
        function_response = realtime_aqi(
            city=fc["arguments"]["city"],
        )
        print(f"函数响应: {function_response}")
        message.append({"role": "observation", "content": function_response})

评估结果

GLM-4-0414系列

对于SimpleQA和HotpotQA，我们从每个测试集中抽取了近500个测试用例，为所有模型提供基本的search和click工具，确保其他设置保持一致，并取3次运行的平均结果。

[1] Moatless v0.0.3 使用以下参数：response_format="react", thoughts_in_action=False, max_interations=30。失败轨迹不重试；其他设置为默认值。

[2] Agentless v1.5.0 使用 BGE 作为嵌入模型，FAISS 进行相似性搜索。为加快补丁验证速度同时保持性能，将单个实例运行的超时时间从默认的300秒改为180秒。

[3] OpenHands v0.29.1 未使用YaRN上下文扩展，但将运行限制为最多60次迭代，并总结历史以防止超过32K上下文限制。总结配置为llm_config="condenser", keep_first=1, max_size=32。失败轨迹不重试。