license: llama2 pipeline_tag: image-text-to-text

UGround (基于LLaVA的初始版本)

更新：我们已使用相同数据基于Qwen2-VL训练了更强模型。建议使用新模型以获得更优性能及更便捷的训练/推理/部署体验。

UGround是通过简洁配方训练的强力GUI视觉定位模型。详情请参阅项目主页与论文。本工作由俄亥俄州立大学NLP组与Orby AI合作完成。

• 主页: https://osu-nlp-group.github.io/UGround/
• 代码库: https://github.com/OSU-NLP-Group/UGround
• 论文: https://arxiv.org/abs/2410.05243
• 演示: https://huggingface.co/spaces/orby-osu/UGround
• 联系人: Boyu Gou

模型列表

• V1系列:
  • 初始版UGround:
  • UGround-V1-2B (基于Qwen2-VL)
  • UGround-V1-7B (基于Qwen2-VL)
  • UGround-V1-72B (基于Qwen2-VL)
  • 训练数据

发布计划

• [x] 模型权重
  • [x] 初始版本(论文所用)
  • [x] 基于Qwen2-VL的V1系列(2B/7B/72B)
• [x] 代码
  • [x] UGround推理代码(初始版&Qwen2-VL版)
  • [x] 离线实验(代码/结果/资源)
    • [x] ScreenSpot
    • [x] 多模态Mind2Web
    • [x] OmniAct
    • [x] 安卓控制
  • [x] 在线实验
    • [x] Mind2Web实时SeeAct-V
    • [x] AndroidWorld-SeeAct-V
  • [ ] 数据合成流水线(即将推出)
• [x] 训练数据(V1)
• [x] 在线演示(HF Spaces)

主要结果

GUI视觉定位：ScreenSpot(标准设置)

GUI视觉定位：ScreenSpot(智能体设置)

引用信息

若此工作对您有帮助，请考虑引用我们的论文：

@article{gou2024uground,
        title={像人类一样探索数字世界：通用GUI智能体的视觉定位技术},
        author={Boyu Gou and Ruohan Wang and Boyuan Zheng and Yanan Xie and Cheng Chang and Yiheng Shu and Huan Sun and Yu Su},
        journal={arXiv预印本 arXiv:2410.05243},
        year={2024},
        url={https://arxiv.org/abs/2410.05243},
      }

@article{zheng2023seeact,
        title={GPT-4V(ision)作为通用网页智能体的潜力——如果实现精准定位},
        author={Boyuan Zheng and Boyu