库名称：transformers
许可证：mit
任务标签：图像文本到文本

📢 [项目主页] [博客文章] [演示]

模型概述

OmniParser 是一款通用屏幕解析工具，能够将用户界面截图解释/转换为结构化格式，以改进现有基于大语言模型（LLM）的UI代理。
训练数据集包括：1）一个可交互图标检测数据集，该数据集从热门网页中筛选并自动标注，突出显示可点击和可操作区域；2）一个图标描述数据集，旨在将每个UI元素与其对应功能关联起来。

本模型库包含在上述数据集上分别微调的YOLOv8版本和BLIP-2模型。有关模型使用和微调的更多细节，请参阅论文。

负责任AI考量

预期用途

• OmniParser 旨在将非结构化的截图图像转换为结构化元素列表，包括可交互区域位置和图标潜在功能的描述。
• OmniParser 适用于用户已接受负责任分析方法培训且需要批判性思维的场景。OmniParser 能够从截图中提取信息，但其输出仍需人工判断。
• OmniParser 可用于解析各种截图，包括PC和手机界面，以及不同应用程序的截图。

局限性

• OmniParser 的设计目标是忠实将截图图像转换为可交互区域和屏幕语义的结构化元素，但不会检测输入中的有害内容（如同用户可以自由决定任何LLM的输入）。用户应确保提供给OmniParser的输入不包含有害内容。
• 尽管OmniParser仅将截图图像转换为文本，但它可用于构建基于LLM的可操作GUI代理。在使用OmniParser开发和运行代理时，开发者需承担责任并遵循通用的安全标准。
• 对于OmniPaser-BLIP2，它可能会错误推断图标图像中个体的性别或其他敏感属性（如种族、宗教等）。敏感属性的推断可能依赖于刻板印象和概括性信息，而非特定个体的真实情况，对边缘化群体的推断更可能出错。错误的推断可能导致严重的身体或心理伤害，或限制、侵犯、削弱个人人权的实现。我们不建议在工作场所类场景中使用OmniParser。

许可证

请注意，icon_detect模型采用AGPL许可证，而icon_caption_blip2和icon_caption_florence模型采用MIT许可证。请参阅各模型文件夹中的LICENSE文件。