🚀 GLM-4-9B-0414

GLM家族迎来新成员——GLM-4-32B-0414系列模型，拥有320亿参数。其性能可与OpenAI的GPT系列以及DeepSeek的V3/R1系列相媲美，还支持非常友好的本地部署功能。GLM-4-32B-Base-0414在15T高质量数据上进行了预训练，其中包含大量推理类型的合成数据，为后续的强化学习扩展奠定了基础。在微调阶段，我们针对对话场景进行了人类偏好对齐。此外，通过拒绝采样和强化学习等技术，提升了模型在指令遵循、工程代码和函数调用方面的性能，从而增强了执行智能体任务所需的核心能力。GLM-4-32B-0414在工程代码、工件生成、函数调用、基于搜索的问答和报告生成等方面取得了良好的效果。特别是在一些基准测试中，如代码生成或特定问答任务，GLM-4-32B-Base-0414的性能可与GPT-4o和DeepSeek-V3-0324（671B）等更大的模型相媲美。

GLM-Z1-32B-0414是一个具有深度思考能力的推理模型。它基于GLM-4-32B-0414，通过冷启动、扩展强化学习以及在数学、代码和逻辑等任务上的进一步训练而开发。与基础模型相比，GLM-Z1-32B-0414显著提高了数学能力和解决复杂任务的能力。在训练过程中，我们还引入了基于成对排序反馈的通用强化学习，增强了模型的通用能力。

GLM-Z1-Rumination-32B-0414是一个具有深度反思能力的推理模型（对标OpenAI的深度研究）。与典型的深度思考模型不同，反思模型能够进行更深入、更持久的思考，以解决更开放、更复杂的问题（例如，撰写两个城市人工智能发展的比较分析及其未来发展规划）。Z1-Rumination通过端到端强化学习进行扩展训练，使用真实答案或评分标准对回复进行评分，并可以在深度思考过程中使用搜索工具来处理复杂任务。该模型在研究型写作和复杂任务方面表现出显著的改进。

最后，GLM-Z1-9B-0414是一个惊喜。我们采用上述所有技术训练了一个小模型（9B）。GLM-Z1-9B-0414在数学推理和通用任务中表现出色，在所有相同规模的开源模型中，其整体性能名列前茅。特别是在资源受限的场景中，该模型在效率和效果之间取得了出色的平衡，为寻求轻量级部署的用户提供了强大的选择。

✨ 主要特性

• 高性能表现：性能可与OpenAI的GPT系列以及DeepSeek的V3/R1系列相媲美，在多个基准测试中取得良好效果。
• 本地部署友好：支持非常友好的本地部署功能。
• 多场景适用：在工程代码、工件生成、函数调用、基于搜索的问答和报告生成等方面表现出色。
• 深度思考能力：部分模型具有深度思考和反思能力，能解决复杂问题。
• 小模型优势：GLM-Z1-9B-0414在资源受限场景中，效率和效果平衡出色。

📚 详细文档

展示

动画生成

网页设计

模型	展示内容
GLM-4-32B-0414	设计一个支持自定义函数绘图的绘图板，允许添加和删除自定义函数，并为函数分配颜色。（提示从中文翻译而来）
GLM-4-32B-0414	为移动机器学习平台设计一个用户界面，应包括训练任务、存储管理和个人统计的界面。个人统计界面应使用图表显示用户一段时间内的资源使用情况。使用Tailwind CSS对页面进行样式设计，并将这3个移动界面平铺显示在一个HTML页面上。（提示从中文翻译而来）

SVG生成

模型	展示内容
GLM-4-32B-0414	使用SVG创建一个朦胧的江南场景。（提示从中文翻译而来）
GLM-4-32B-0414	使用SVG说明大语言模型的训练过程。（提示从中文翻译而来）

基于搜索的写作

对于基于搜索的写作任务，我们使用以下系统提示让模型根据搜索结果进行回复：

请根据所给搜索返回结果对用户问题进行作答。

## 注意
1. 充分利用和整理收集到的信息，而不是简单的复制粘贴，生成符合用户要求且有深度的专业答案。
2. 所提供信息充分的情况下，你的回答需尽可能延长，从用户意图角度出发，提供具有足够信息量和多角度的回复。
3. 另外，并非所有的搜索结果都与用户问题密切相关，请仔细的甄别、筛选和利用。
4. 客观类问答的答案通常非常简短，你可以适当补充一到两句相关信息，以丰富内容。
5. 请确保你的回复格式美观、可读性强。对于多实体对比或列举，善用列表格式来帮助用户更好的理解信息。
6. 除非用户要求，否则你回答的语言请于用户提问语言保持一致。
7. 在适当情况下在句子末尾使用例如:【0†source】的格式引用搜索结果。

使用时，你可以通过RAG或WebSearch等方法获取搜索结果，并将其包装在observation中，例如：

[
    {
        "role": "user",
        "content": "Explore the common characteristics of children's literature, with a focus on its narrative techniques and thematic tendencies. This includes narrative techniques: common approaches in children's literature such as first-person, third-person, omniscient narrator, and interactive narration, and their influence on young readers. It also includes thematic tendencies: recurring themes in children's literature such as growth, adventure, friendship, and family, with an analysis of how these themes impact children's cognitive and emotional development. Additionally, other universal features such as the use of personification, repetitive language, symbolism and metaphor, and educational value should be considered. Please provide a detailed analytical report based on academic research, classic examples of children's literature, and expert opinions."
    },
    {
        "role": "observation",
        "content": "【{id}†{title}†{url}】\n{content}"
    },
    ...
]

对于上述提示，我们使用内部或外部搜索模型获取搜索结果。使用上述格式，我们可以生成以下分析报告：

函数调用

GLM-4-32B-0414支持以JSON格式调用外部工具。这可以通过HuggingFace Transformers、vLLM或sgLang实现。 工具调用的消息格式如下：

{
    "role": "asssitant", 
    "metadata": function_name, 
    "content": json.dumps(call_arguments, ensure_ascii=False)
}

工具执行结果的消息格式如下：

{
    "role": "observation", 
    "content": json.dumps(tool_response, ensure_ascii=False) if not isinstance(tool_response, str) else tool_response
}

以下示例展示了GLM-4-9B-0414使用HuggingFace Transformers调用工具并生成最终回复的过程：

import json
import re
import ast
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_PATH = "THUDM/GLM-4-9B-0414"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForCausalLM.from_pretrained(MODEL_PATH, device_map="auto")

def is_function_call(single_message):
    """Determine whether the current system message is a function call."""
    pattern = re.compile(r'([^\n`]*?)\n({.*?})(?=\w*\n|$)', re.DOTALL)
    matches = pattern.findall(single_message)
    if not matches:
        return False

    func_name, args_str = matches[0]
    func_name = func_name.strip()
    try:
        parsed_args = json.loads(args_str)
    except json.JSONDecodeError:
        try:
            parsed_args = ast.literal_eval(args_str)
        except:
            return False
    
    return {"name": func_name, "arguments": parsed_args}

def realtime_aqi(city):
    """Weather Query Tool"""
    if '北京' in city.lower():
        return json.dumps({'city': '北京', 'aqi': '10', 'unit': 'celsius'}, ensure_ascii=False)
    elif '上海' in city.lower():
        return json.dumps({'city': '上海', 'aqi': '72', 'unit': 'fahrenheit'}, ensure_ascii=False)
    else:
        return json.dumps({'city': city, 'aqi': 'unknown'}, ensure_ascii=False)

def build_system_prompt(tools):
    """Construct system prompt based on the list of available tools."""
    if tools is None:
        tools = []
    value = "# 可用工具"
    contents = []
    for tool in tools:
        content = f"\n\n## {tool['function']['name']}\n\n{json.dumps(tool['function'], ensure_ascii=False, indent=4)}"
        content += "\n在调用上述函数时，请使用 Json 格式表示调用的参数。"
        contents.append(content)
    value += "".join(contents)
    return value

tools = [
  {
    "type": "function", 
    "function": {
      "name": "realtime_aqi",
      "description": "天气预报。获取实时空气质量。当前空气质量，PM2.5，PM10信息",
      "parameters": {
          "type": "object",
          "properties": {
              "city": {
                  "description": "城市名"
              }
          },
          "required": [
              "city"
          ]
      }
	}
  }
]

system_prompt = build_system_prompt(tools)

message = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": "北京和上海今天的天气情况"}
]
print(f"User Message: {message[-1]['content']}")

while True:
    inputs = tokenizer.apply_chat_template(
        message,
        return_tensors="pt",
        add_generation_prompt=True,
        return_dict=True,
    ).to(model.device)

    generate_kwargs = {
        "input_ids": inputs["input_ids"],
        "attention_mask": inputs["attention_mask"],
        "max_new_tokens": 1024,
        "do_sample": True,
    }
    out = model.generate(**generate_kwargs)
    generate_resp = tokenizer.decode(out[0][inputs["input_ids"].shape[1]:-1], skip_special_tokens=False)
    stop_sequence = tokenizer.decode(out[0][-1:], skip_speical_tokens=False)
    if stop_sequence == "<|user|>":
        print(f"Assistant Response: {generate_resp.strip()}")
        break

    function_calls = []
    for m in generate_resp.split("<|assistant|>"):
        fc_decode = is_function_call(m.strip())
        if fc_decode:
            message.append({"role": "assistant", "metadata": fc_decode['name'], "content": json.dumps(fc_decode['arguments'], ensure_ascii=False)})
            print(f"Function Call: {fc_decode}")
            function_calls.append(fc_decode)
        else:
            message.append({"role": "assistant", "content": m})
            print(f"Assistant Response: {m.strip()}")
    
    for fc in function_calls:
        function_response = realtime_aqi(
            city=fc["arguments"]["city"],
        )
        print(f"Function Response: {function_response}")
        message.append({"role": "observation", "content": function_response})

评估结果

GLM-4-0414系列

对于SimpleQA和HotpotQA，我们从每个测试集中采样了近500个测试用例，为所有模型提供基本的search和click工具，确保其他设置保持一致，并进行3次运行取平均值。

[1] Moatless v0.0.3使用以下参数：response_format="react", thoughts_in_action=False, max_interations=30。失败轨迹不重试；其他设置为默认值。

[2] Agentless v1.5.0使用BGE作为嵌入模型，使用FAISS进行相似性搜索。为了在保持性能的同时加快补丁验证速度，将单个实例的运行超时时间从默认的300s更改为180s。

[3] OpenHands v0.29.1未使用YaRN上下文扩展，但将运行限制为最多60次迭代，并总结历史记录以防止超过32K上下文限制。总结配置为llm_config="condenser", keep_first=1, max_size=32。失败轨迹不重试。

📄 许可证

本项目采用MIT许可证。