🚀 GUI-Actor-2B：以Qwen2-VL-2B为骨干视觉语言模型

GUI-Actor-2B是一个基于视觉语言模型的项目，它以Qwen2-VL-2B为骨干模型，通过增加基于注意力的动作头并进行微调，用于执行图形用户界面（GUI）的定位任务。该模型在多个GUI定位基准测试中展现出了良好的性能。

🚀 快速开始

模型信息

相关链接

本模型在论文 GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents 中被提出。更多关于模型设计和评估的详细信息，请查看以下链接：

• 项目页面
• GitHub仓库
• 论文

模型版本

✨ 主要特性

GUI-Actor-2B以Qwen2-VL-2B为骨干视觉语言模型，通过增加基于注意力的动作头并进行微调，能够在图形用户界面（GUI）定位任务中取得较好的效果。

📊 性能对比

以Qwen2-VL为骨干的模型在ScreenSpot-Pro、ScreenSpot和ScreenSpot-v2上的主要结果

表1展示了以Qwen2-VL为骨干的模型在不同数据集上的性能表现。‚Ć 表示我们对Huggingface上官方模型进行评估得到的分数。

以Qwen2.5-VL为骨干的模型在ScreenSpot-Pro和ScreenSpot-v2上的主要结果

表2展示了以Qwen2.5-VL为骨干的模型在不同数据集上的性能表现。

💻 使用示例

基础用法

import torch

from qwen_vl_utils import process_vision_info
from datasets import load_dataset
from transformers import Qwen2VLProcessor
from gui_actor.constants import chat_template
from gui_actor.modeling import Qwen2VLForConditionalGenerationWithPointer
from gui_actor.inference import inference


# 加载模型
model_name_or_path = "microsoft/GUI-Actor-2B-Qwen2-VL"
data_processor = Qwen2VLProcessor.from_pretrained(model_name_or_path)
tokenizer = data_processor.tokenizer
model = Qwen2VLForConditionalGenerationWithPointer.from_pretrained(
    model_name_or_path,
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",
    attn_implementation="flash_attention_2"
).eval()

# 准备示例
dataset = load_dataset("rootsautomation/ScreenSpot")["test"]
example = dataset[0]
print(f"指令: {example['instruction']}")
print(f"真实动作区域 (x1, y1, x2, y2): {[round(i, 2) for i in example['bbox']]}")

conversation = [
    {
        "role": "system",
        "content": [
            {
                "type": "text",
                "text": "你是一个GUI代理。你被分配了一个任务和屏幕的截图。你需要执行一系列pyautogui动作来完成任务。",
            }
        ]
    },
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": example["image"], # PIL.Image.Image 或图像路径字符串
                # "image_url": "https://xxxxx.png" 或 "https://xxxxx.jpg" 或 "file://xxxxx.png" 或 "data:image/png;base64,xxxxxxxx"，将按 "base64," 分割
            },
            {
                "type": "text",
                "text": example["instruction"]
            },
        ],
    },
]

# 推理
pred = inference(conversation, model, tokenizer, data_processor, use_placeholder=True, topk=3)
px, py = pred["topk_points"][0]
print(f"预测的点击点: [{round(px, 4)}, {round(py, 4)}]")

# >> 模型响应
# 指令: 关闭此窗口
# 真实动作区域 (x1, y1, x2, y2): [0.9479, 0.1444, 0.9938, 0.2074]
# 预测的点击点: [0.9709, 0.1548]

📚 详细文档

请参考 项目页面 和 GitHub仓库 以获取更多详细信息。

📄 许可证

本项目采用MIT许可证。

📚 引用

如果您在研究中使用了本模型，请引用以下论文：

@article{wu2025guiactor,
    title={GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents}, 
    author={Qianhui Wu and Kanzhi Cheng and Rui Yang and Chaoyun Zhang and Jianwei Yang and Huiqiang Jiang and Jian Mu and Baolin Peng and Bo Qiao and Reuben Tan and Si Qin and Lars Liden and Qingwei Lin and Huan Zhang and Tong Zhang and Jianbing Zhang and Dongmei Zhang and Jianfeng Gao},
    year={2025},
    eprint={2506.03143},
    archivePrefix={arXiv},
    primaryClass={cs.CV},
    url={https://www.arxiv.org/pdf/2506.03143},
}