许可证：apache-2.0
语言：

• 英语
  任务标签：图像文本到文本
  标签：
• 多模态
  库名称：transformers
  基础模型：
• Qwen/Qwen2-VL-7B

WebDreamer：基于模型的网页智能体规划框架

WebDreamer 是一个规划框架，能够为现实世界中的网页智能体任务实现高效且有效的规划。详情请参阅我们的论文。
本项研究由OSUNLP与Orby AI合作完成。

• 代码库：https://github.com/OSU-NLP-Group/WebDreamer
• 论文：https://arxiv.org/abs/2411.06559
• 联系人：Kai Zhang

模型

• Dreamer-7B系列：
  • 通用版
  • 垂直领域-VWA购物
  • 垂直领域-VWA分类信息
  • 垂直领域-VWA红迪论坛

数据

Dreamer训练数据集

数据结构
 |-- 提示词: 字符串
 |-- 图像: 二进制
 |-- 响应: 字符串
 |-- 动作: 字符串

实验结果

在VisualWebArena和Mind2Web-live上的卓越表现

相比反应式基线，WebDreamer在三个测试集上分别实现了34.1%、42.3%和23.8%的性能提升。

比真实交互的树搜索更高效

通过模拟有效探索搜索空间，WebDreamer在保持强劲性能的同时大幅降低了对真实交互的依赖。

推理部署

vLLM服务端

vllm serve osunlp/Dreamer-7B --api-key token-abc123 --dtype float16

或

python -m vllm.entrypoints.openai.api_server --served-model-name osunlp/Dreamer-7B --model osunlp/Dreamer-7B --dtype float16

更多训练和推理说明请参考Qwen2-VL官方库。

提示词模板

我们的模型对文本提示具有较强鲁棒性，开发者可自由尝试各类提示组合：

def format_openai_template(描述文本: str, base64图像):
    return [
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    "image_url": {"url": f"data:image/jpeg;base64,{base64图像}"},
                },
                {
                    "type": "text",
                    "text": f"""
当前屏幕截图如下。请描述执行{动作描述}后你将看到的内容"""
                },
            ],
        },
    ]

messages = format_openai_template(描述文本, base64图像)

completion = await client.chat.completions.create(
    model=模型路径,
    messages=messages,
    temperature=1.0
)

引用信息

如果本工作对您有帮助，请引用我们的论文：

@article{Gu2024WebDreamer,
  author    = {顾宇、张凯、宁玉婷等},
  title     = {你的大语言模型其实是互联网的世界模型吗？基于模型的网页智能体规划},
  journal   = {CoRR},
  volume    = {abs/2411.06559},
  year      = {2024},
  url       = {https://arxiv.org/abs/2411.06559},
  eprinttype= {arXiv},
  eprint    = {2411.06559},
}