库名称：transformers
许可证：mit
标签：

• 终端模板
• 自定义代码

📢 [GitHub仓库] [OmniParser V2博客文章] Huggingface演示

模型概述

OmniParser是一款通用屏幕解析工具，能够将UI截图解释/转换为结构化格式，以提升现有基于LLM的UI代理性能。
训练数据集包括：1) 一个可交互图标检测数据集，该数据集从热门网页中精选并自动标注，突出显示可点击和可操作区域；2) 一个图标描述数据集，旨在将每个UI元素与其对应功能关联。

本模型中心包含分别基于上述数据集微调的YOLOv8版本和Florence-2基础模型。有关所用模型及微调的更多细节，请参阅论文。

V2版本新特性

• 更大规模且更干净的图标描述+定位数据集
• 相比V1延迟降低60%。平均延迟：A100上0.6秒/帧，单卡4090上0.8秒。
• 强劲性能：在ScreenSpot Pro上达到39.6的平均准确率
• 您的代理只需一个工具：OmniTool。通过OmniParser+自选视觉模型控制Windows 11虚拟机。OmniTool开箱即支持以下大语言模型：OpenAI（4o/o1/o3-mini）、DeepSeek（R1）、Qwen（2.5VL）或Anthropic Computer Use。详情请查看我们的GitHub仓库。

负责任AI考量

预期用途

• OmniParser设计用于将非结构化截图图像转换为结构化元素列表，包括可交互区域位置及图标潜在功能描述。
• OmniParser预期用于用户已接受过负责任分析方法培训且需进行批判性推理的场景。虽然能提供截图提取信息，但输出仍需人工判断。
• 适用于各类截图（含PC和手机）及多种应用程序场景。

局限性

• OmniParser忠实转换截图图像为可交互区域及屏幕语义的结构化元素，但不检测输入中的有害内容（如同用户可自由决定任何LLM的输入），用户应确保输入内容无害。
• 虽然仅将截图转换为文本，但可用于构建基于LLM的可操作GUI代理。开发者使用OmniParser开发运营代理时，需承担责任并遵循通用安全标准。

许可证

请注意icon_detect模型采用AGPL许可证，icon_caption模型采用MIT许可证。具体请参阅各模型文件夹中的LICENSE文件。