库名称: transformers 许可证: apache-2.0 语言:

• 英文 基础模型:
• Qwen/Qwen2-VL-7B-Instruct 管道标签: 图像转文本

Qwen2-VL-7B-Captioner-Relaxed

简介

Qwen2-VL-7B-Captioner-Relaxed是基于Qwen2-VL-7B-Instruct的指令调优版本，这是一个先进的多模态大语言模型。该微调版本基于手工策划的文本到图像模型数据集，能提供更详细的图像描述。

主要特点:

• 增强细节: 生成更全面、更细致的图像描述。
• 宽松限制: 相比基础模型提供限制更少的图像描述。
• 自然语言输出: 使用自然语言描述图像中的不同主体及其位置。
• 图像生成优化: 生成与最先进文本到图像生成模型兼容的标题格式。

注意: 该微调模型专为创建文本到图像数据集优化。因此在其他任务上的表现(如~10%的mmmu_val下降)可能不如原始模型。

要求

如果遇到KeyError: 'qwen2_vl'或ImportError: cannot import name 'Qwen2VLForConditionalGeneration' from 'transformers'等错误，请尝试从源码安装最新版transformers库:

pip install git+https://github.com/huggingface/transformers

快速开始

from PIL import Image
from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
from transformers import BitsAndBytesConfig
import torch

model_id = "Ertugrul/Qwen2-VL-7B-Captioner-Relaxed"

model = Qwen2VLForConditionalGeneration.from_pretrained(
    model_id, torch_dtype=torch.bfloat16, device_map="auto"
)
processor = AutoProcessor.from_pretrained(model_id)

conversation = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
            },
            {"type": "text", "text": "描述这张图片。"},
        ],
    }
]