基础模型:

• Qwen/Qwen2.5-1.5B-Instruct
• google/siglip-so400m-patch14-384 数据集:
• weizhiwang/Open-Qwen2VL-Data
• MAmmoTH-VL/MAmmoTH-VL-Instruct-12M 语言:
• 英文 许可证: cc 任务标签: 图像文本到文本

Open-Qwen2VL模型卡

Open-Qwen2VL是一个多模态模型，能够接收图像和文本作为输入并生成文本输出。该模型在论文Open-Qwen2VL: 基于学术资源的高效计算全开放多模态大语言模型预训练中进行了详细描述。相关代码可在https://github.com/Victorwz/Open-Qwen2VL获取。

更新日志

• [2025年4月1日] 代码库、模型、数据及论文正式发布

使用方法

请先通过以下命令安装Open-Qwen2VL：

pip install git+https://github.com/Victorwz/Open-Qwen2VL.git#subdirectory=prismatic-vlms

加载模型并进行推理的示例代码如下：

import requests
import torch
from PIL import Image
from prismatic import load

device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")

# 加载预训练VLM（支持本地路径或自动从HF Hub下载）
vlm = load("Open-Qwen2VL")
vlm.to(device, dtype=torch.bfloat16)

# 下载图片并设置提示词
image_url = "https://huggingface.co/adept/fuyu-8b/resolve/main/bus.png"
image = [vlm.vision_backbone.image_transform(Image.open(requests.get(image_url, stream=True).raw).convert("RGB")).unsqueeze(0)]
user_prompt = "<image>\n描述这张图片。"

# 开始生成！
generated_text = vlm.generate_batch(
    image,
    [user_prompt],
    do_sample=False,
    max_new_tokens=512,
    min_length=1,
)
print(generated_text[0])

图像描述输出示例：

图片展示了一辆蓝橙相间的巴士停靠在街道旁。...

致谢

本研究部分受到美国国家科学基金会BioPACIFIC材料创新平台资助（奖项编号：DMR-1933487）

引用

@article{Open-Qwen2VL,
    title={Open-Qwen2VL：基于学术资源的高效计算全开放多模态大语言模型预训练},
    author={王伟志 and 田宇 and 杨林杰 and 王恒 and 严喜峰},
    journal={arXiv预印本 arXiv:2504.00595},
    year={2025}
  }