license: apache-2.0 language:

• 中文
• 英语 tags:
• AgentCPM-GUI
• 图形界面代理
• 安卓代理
• 多模态 base_model:
• openbmb/MiniCPM-V-2_6 pipeline_tag: 图文生成文本

AgentCPM-GUI

GitHub | 技术博客

最新动态

• [2025-05-13] üöÄüöÄüöÄ 我们开源了AgentCPM-GUI，这是一款具备RFT增强推理能力的设备端图形界面代理，可操作中英文应用。

概述

AgentCPM-GUI是由清华自然语言处理实验室、中国人民大学和ModelBest联合开发的开源设备端大语言代理模型。基于80亿参数的MiniCPM-V构建，该模型以手机屏幕截图作为输入，自主执行用户指定任务。

核心特性包括：

• 高质量GUI定位——通过大规模双语安卓数据集预训练，显著提升对常见GUI组件（按钮、输入框、标签、图标等）的定位与理解能力。
• 中文应用操作——首个针对中文应用精细调优的开源GUI代理，覆盖高德地图、大众点评、哔哩哔哩、小红书等30+热门应用。
• 增强规划推理——强化微调技术(RFT)使模型在输出动作前进行"思考"，大幅提升复杂任务成功率。
• 紧凑动作空间设计——优化的动作空间与简洁JSON格式使平均动作长度降至9.7个token，提升设备端推理效率。

演示案例(1倍速)：

https://github.com/user-attachments/assets/5472a659-cd71-4bce-a181-0981129c6a81

快速开始

安装依赖

git clone https://github.com/OpenBMB/AgentCPM-GUI
cd AgentCPM-GUI
conda create -n gui_agent python=3.11
conda activate gui_agent
pip install -r requirements.txt

下载模型

从Hugging Face下载AgentCPM-GUI并放置于model/AgentCPM-GUI目录。

Huggingface推理

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from PIL import Image
import json

# 1. 加载模型与分词器
model_path = "model/AgentCPM-GUI"  # 模型路径
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, torch_dtype=torch.bfloat16)
model = model.to("cuda:0") 

# 2. 构建输入
instruction = "点击屏幕左上角的'返回'按钮"
image_path = "assets/test.jpeg"
image = Image.open(image_path).convert("RGB")

# 3. 将长边缩放至1120像素以节省计算资源
def __resize__(origin_img):
    resolution = origin_img.size
    w,h = resolution
    max_line_res = 1120
    if max_line_res is not None:
        max_line = max_line_res
        if h > max_line:
            w = int(w * max_line / h)
            h = max_line
        if w > max_line:
            h = int(h * max_line / w)
            w = max_line
    img = origin_img.resize((w,h),resample=Image.Resampling.LANCZOS)
    return img
image = __resize__(image)

# 4. 构建消息格式
messages = [{
    "role": "user",
    "content": [
        f"<Question>{instruction}</Question>\n请给出操作步骤：",
        image
    ]
}]

# 5. 推理
ACTION_SCHEMA = json.load(open('eval/utils/schema/schema.json', encoding="utf-8"))
items = list(ACTION_SCHEMA.items())
insert_index = 3
items.insert(insert_index, ("required", ["thought"])) # 通过设置为"required"/"optional"启用/禁用思考过程
ACTION_SCHEMA = dict(items)
SYSTEM_PROMPT = f'''# 角色
你是一个精通移动端GUI交互的智能代理，将通过触控操作完成用户指定的任务，准确理解用户需求的GUI元素并执行精准操作。

# 任务
根据用户指令生成操作步骤，给出下一步的交互动作。

# 规则
- 必须使用JSON格式输出
- 输出操作必须符合Schema规范

# 规范
{json.dumps(ACTION_SCHEMA, indent=None, ensure_ascii=False, separators=(',', ':'))}'''

outputs = model.chat(
    image=None,
    msgs=messages,
    system_prompt=SYSTEM_PROMPT,
    tokenizer=tokenizer,
    temperature=0.1,
    top_p=0.3,
    n=1,
)

# 6. 输出
print(outputs)

预期输出：

{"thought":"当前需要点击屏幕左上角的'返回'按钮。操作界面已显示可用的返回图标，建议点击左上角区域。点击'返回'按钮将触发应用的返回功能。","POINT":[729,69]}

vLLM推理

# 启动vLLM服务
vllm serve model/AgentCPM-GUI --served-model-name AgentCPM-GUI --tensor_parallel_size 1 --trust-remote-code

import base64
import io
import json
import requests
from PIL import Image

END_POINT = "http://localhost:8000/v1/chat/completions"  # 替换为实际端点

# 系统提示
ACTION_SCHEMA = json.load(open('eval/utils/schema/schema.json', encoding="utf-8"))
items = list(ACTION_SCHEMA.items())
insert_index = 3
items.insert(insert_index, ("required", ["thought"])) # 通过设置为"required"/"optional"启用/禁用思考过程
ACTION_SCHEMA = dict(items)
SYSTEM_PROMPT = f'''# 角色
你是一个精通移动端GUI交互的智能代理，将通过触控操作完成用户指定的任务，准确理解用户需求的GUI元素并执行精准操作。

# 任务
根据用户指令生成操作步骤，给出下一步的交互动作。

# 规则
- 必须使用JSON格式输出
- 输出操作必须符合Schema规范

# 规范
{json.dumps(ACTION_SCHEMA, indent=None, ensure_ascii=False, separators=(',', ':'))}'''

def encode_image(image: Image.Image) -> str:
    """将PIL图像转为base64编码字符串"""
    with io.BytesIO() as in_mem_file:
        image.save(in_mem_file, format="JPEG")
        in_mem_file.seek(0)
        return base64.b64encode(in_mem_file.read()).decode("utf-8")

def __resize__(origin_img):
    resolution = origin_img.size
    w,h = resolution
    max_line_res = 1120
    if max_line_res is not None:
        max_line = max_line_res
        if h > max_line:
            w = int(w * max_line / h)
            h = max_line
        if w > max_line:
            h = int(h * max_line / w)
            w = max_line
    img = origin_img.resize((w,h),resample=Image.Resampling.LANCZOS)
    return img

def predict(text_prompt: str, image: Image.Image):
    messages = [
        {"role": "system", "content": SYSTEM_PROMPT},
        {"role": "user", "content": [
            {"type": "text", "text": f"<Question>{text_prompt}</Question>\n请给出操作步骤："},
            {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{encode_image(image)}"}}
        ]}
    ]

    payload = {
        "model": "AgentCPM-GUI",  # 模型名称
        "temperature": 0.1,
        "messages": messages,
        "max_tokens": 2048,
    }

    headers = {
        "Content-Type": "application/json",
    }

    response = requests.post(END_POINT, headers=headers, json=payload)
    assistant_msg = response.json()["choices"][0]["message"]["content"]
    return assistant_msg

image = __resize__(Image.open("assets/test.jpeg"))
instruction = "点击屏幕左上角的'返回'按钮"
response = predict(instruction, image)
print(response)

动作空间

每一步代理输出为单个JSON对象，包含：

• 一个（且仅一个）基础动作，从下表选择；
• 可选修饰符（duration、thought）和/或任务级标志（STATUS）。

注意所有关键字区分大小写，且使用紧凑JSON（无额外空格），这会影响分词器行为。

微调训练

提供SFT和RFT训练源代码——详见GitHub。

性能评估

定位基准

代理基准