数据集:

• agentsea/wave-ui 语言:
• en 库名称: transformers

Paligemma WaveUI 模型

基于 PaliGemma 3B 448分辨率权重 的Transformers模型，在 WaveUI 数据集上针对目标检测任务进行了微调。

模型详情

模型描述

本模型是在 Paligemma 448 Widgetcap 模型基础上，使用包含约8万标注UI元素的 WaveUI 数据集进行微调。

此次微调专注于目标检测任务。该模型旨在提升UI元素检测性能，作为 AgentSea 开源智能体构建工具包的重要组成部分。

• 开发团队: https://agentsea.ai/
• 支持语言: 英语
• 基础模型: https://huggingface.co/google/paligemma-3b-ft-widgetcap-448

演示

模型演示请访问 此处。

注意事项

• 微调仅针对目标检测任务，其他类型任务可能表现欠佳。

使用方式

使用以下代码加载模型:

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration

model = PaliGemmaForConditionalGeneration.from_pretrained("agentsea/paligemma-3b-ft-widgetcap-waveui-448").eval()
processor = AutoProcessor.from_pretrained("agentsea/paligemma-3b-ft-widgetcap-waveui-448")

数据

微调采用 WaveUI 数据集，使用前已预处理为Paligemma边界框格式。

评估

我们在测试集的1024个样本上计算了平均IoU，对比了3个闭源模型(Gemini 1.5 Pro/Claude 3.5 Sonnet/GPT 4o)与PaliGemma WaveUI微调模型的表现:

• Gemini 1.5 Pro: 0.12
• Claude 3.5 Sonnet: 0.05
• GPT 4o: 0.05
• PaliGemma Widgetcap+WaveUI 448: 0.40
• PaliGemma WaveUI 896: 0.49