license: other license_name: 通义千问 license_link: https://huggingface.co/Qwen/Qwen2-VL-72B-Instruct/blob/main/LICENSE language:

• zh pipeline_tag: 图像文本到文本 tags:
• 多模态 library_name: transformers base_model:
• Qwen/Qwen2-VL-72B

该预览模型采用LoRA训练1个周期。

完整训练版本检查点：https://huggingface.co/osunlp/UGround-V1-72B（在ScreenSpot-Pro和ScreenSpot基准上表现略优）

Qwen2-VL-72B-Instruct

模型介绍

我们隆重推出Qwen2-VL——这是Qwen-VL模型系列的最新迭代，凝聚了近一年的创新成果。

核心升级亮点

关键能力提升：

• 全分辨率图像理解新标杆：在MathVista、DocVQA、RealWorldQA、MTVQA等视觉理解基准测试中达到最先进水平
• 超长视频理解能力：可解析20分钟以上视频内容，支持高质量视频问答、对话及创作
• 智能体操作系统：结合复杂推理与决策能力，可集成手机、机器人等设备实现视觉环境驱动的自动化操作
• 多语言图文理解：除中英文外，新增支持图像内多语种文本识别（涵盖主要欧洲语言、日语、韩语、阿拉伯语、越南语等）

架构革新：

• 动态分辨率处理：突破固定分辨率限制，通过动态视觉token映射实现类人视觉处理体验

• 多模态旋转位置编码(M-ROPE)：解耦位置嵌入为文本1D、视觉2D和视频3D分量，强化跨模态表征能力

我们提供20亿、80亿和720亿参数三个版本。本仓库为720亿参数的指令调优模型。更多信息请访问技术博客和GitHub。

性能评测

图像基准测试

视频基准测试

智能体基准测试

注：SR=成功率，GC=目标达成率，TM=类型匹配，EM=精确匹配。ALFRED测试依赖SAM^[6]实现。

1. 通义团队自建函数调用基准
2. 《通过强化学习微调视觉语言大模型作为决策智能体》
3. 《动物园中的安卓：GUI智能体的行动思维链》
4. 《ThinkBot：基于思维链推理的具身指令跟随》
5. 《MapGPT：自适应路径规划的视觉语言导航》
6. Segment Anything模型

多语言基准测试

环境要求

建议通过源码安装最新版Hugging Face transformers：

pip install git+https://github.com/huggingface/transformers

否则可能报错：

KeyError: 'qwen2_vl'

快速开始

安装视觉处理工具包：

pip install qwen-vl-utils

基础使用示例：

from transformers import Qwen2VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info

# 默认加载到可用设备
model = Qwen2VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2-VL-72B-Instruct", torch_dtype="auto", device_map="auto"
)

# 推荐启用flash_attention_2加速（特别在多图/视频场景）
# model = Qwen2VLForConditionalGeneration.from_pretrained(
#     "Qwen/Qwen2-VL-72B-Instruct",
#     torch_dtype=torch.bfloat16,
#     attn_implementation="flash_attention_2",
#     device_map="auto",
# )

processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-72B-Instruct")

# 可自定义视觉token数量范围（默认4-16384）
# min_pixels = 256*28*28
# max_pixels = 1280*28*28
# processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-72B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg"},
            {"type": "text", "text": "描述这张图片"},
        ],
    }
]

# 输入预处理
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
).to("cuda")

# 生成输出
generated_ids = model.generate(**inputs, max_new_tokens=128)
output_text = processor.batch_decode(
    [out[len(inp):] for inp, out in zip(inputs.input_ids, generated_ids)],
    skip_special_tokens=True
)
print(output_text)

from PIL import Image
import requests
from transformers import Qwen2VLForConditionalGeneration, AutoProcessor

model = Qwen2VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2-VL-72B-Instruct", device_map="auto"
)
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-72B-Instruct")

url = "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(
    text="<|im_start|>user\n<|vision_start|><|image_pad|><|vision_end|>描述图片<|im_end|>\n<|im_start|>assistant\n",
    images=[image],
    return_tensors="pt"
).to("cuda")

output_ids = model.generate(**inputs)
print(processor.decode(output_ids[0], skip_special_tokens=True))

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "file:///path/to/image1.jpg"},
            {"type": "image", "image": "file:///path/to/image2.jpg"},
            {"type": "text", "text": "找出两图的共同点"},
        ],
    }
]
# 预处理与单图流程相同

# 帧序列输入
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video",
                "video": [
                    "file:///path/to/frame1.jpg",
                    "file:///path/to/frame2.jpg",
                    "file:///path/to/frame3.jpg",
                ],
                "fps": 1.0,
            },
            {"type": "text", "text": "描述视频内容"},
        ],
    }
]

# 或直接输入视频文件
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video",
                "video": "file:///path/to/video.mp4",
                "max_pixels": 360*420,
                "fps": 1.0,
            },
            {"type": "text", "text": "描述视频内容"},
        ],
    }
]

messages_batch = [
    [{"role":"user", "content":[{"type":"image", "image":"path1.jpg"}, {"type":"text", "text":"问题1"}]}],
    [{"role":"user", "content":[{"type":"image", "image":"path2.jpg"}, {"type":"text", "text":"问题2"}]}]
]

texts = [processor.apply_chat_template(m, tokenize=False) for m in messages_batch]
image_inputs, _ = process_vision_info(messages_batch)
inputs = processor(
    text=texts,
    images=image_inputs,
    padding=True,
    return_tensors="pt"
).to("cuda")

outputs = model.generate(**inputs)

使用技巧

输入类型支持

• 图像：本地路径(file://)、URL、Base64编码
• 视频：目前仅支持本地文件

# 本地文件
messages = [{"role":"user", "content":[
    {"type":"image", "image":"file:///path/to/image.jpg"},
    {"type":"text", "text":"描述图片"}
]}]

# 网络图片
messages = [{"role":"user", "content":[
    {"type":"image", "image":"http://example.com/image.jpg"},
    {"type":"text", "text":"描述图片"}
]}]

# Base64图片
messages = [{"role":"user", "content":[
    {"type":"image", "image":"data:image;base64,/9j/..."},
    {"type":"text", "text":"描述图片"}
]}]

分辨率优化

通过设置像素范围平衡性能与资源消耗：

processor = AutoProcessor.from_pretrained(
    "Qwen/Qwen2-VL-72B-Instruct",
    min_pixels=256*28*28,  # 最小像素
    max_pixels=1280*28*28  # 最大像素
)

支持两种精确控制方式：

1. 动态调整：保持宽高比在[min_pixels, max_pixels]范围内
2. 固定尺寸：直接指定resized_height和resized_width（自动对齐到28的倍数）

# 方式1：像素范围控制
messages = [{"role":"user", "content":[
    {"type":"image", "image":"file:///image.jpg", "min_pixels":50176, "max_pixels":50176},
    {"type":"text", "text":"描述图片"}
]}]

# 方式2：精确尺寸控制
messages = [{"role":"user", "content":[
    {"type":"image", "image":"file:///image.jpg", "resized_height":280, "resized_width":420},
    {"type":"text", "text":"描述图片"}
]}]

局限性

当前版本存在以下已知限制：

1. 音频理解缺失：不支持视频中的音频信息处理
2. 数据时效性：图像训练数据截至2023年6月
3. 人物/IP识别局限：对特定名人和品牌的识别覆盖率有限
4. 复杂指令处理：多步骤复杂指令的执行能力待提升
5. 计数精度不足：复杂场景下的物体计数准确率较低
6. 空间推理薄弱：三维空间中的物体位置关系判断能力较弱

这些是我们持续优化的重点方向。

引用

如果觉得我们的工作有帮助，欢迎引用：

@article{Qwen2VL,
  title={Qwen2-VL：增强视觉语言模型的全分辨率世界感知},
  author={王鹏、白帅等},
  journal={arXiv预印本},
  year={2024}
}

@article{Qwen-VL,
  title={Qwen-VL：具备理解、定位、文本阅读等多功能的视觉语言模型},
  author={白金泽、白帅等},
  journal={arXiv预印本},
  year={2023}
}