库名称：transformers
标签：

• 图像描述生成
• 视觉问答
  许可证：apache-2.0
  数据集：
• X2FD/LVIS-Instruct4V
• BAAI/SVIT
• HuggingFaceH4/ultrachat_200k
• MMInstruction/VLFeedback
• zhiqings/LLaVA-Human-Preference-10K
  语言：
• 英语
  管道标签：图像到文本
  示例：
  • 输入：interior.jpg
    示例标题：详细描述
    输出：
    文本："图片展示了一间光线充足、宁静的卧室，内有一张白色床铺、黑色床架和白色羽绒被。灰色扶手椅上放着白色靠垫，黑色梳妆台配有镜子和花瓶，地板上铺着白色地毯。房间有一扇大窗户，挂着白色窗帘，并摆放了多件装饰品，包括相框、插着花的花瓶和台灯。整个房间井然有序，氛围宁静。"
  • 输入：cat.jpg
    示例标题：简短描述
    输出：
    文本："一只白橘相间的猫用后腿站立，正伸爪够向放着白色茶壶和一篮红树莓的木桌。桌子置于小木凳上，周围点缀着橙色花朵。猫咪的姿态和动作在花园中营造出宁静而活泼的场景。"

模型描述

UForm-Gen2-dpo 是一个小型生成式视觉语言模型，通过直接偏好优化（DPO）在 VLFeedback 和 LLaVA-Human-Preference-10K 偏好数据集上针对图像描述生成和视觉问答任务进行对齐训练。

模型包含两部分：

1. 类CLIP架构的ViT-H/14视觉编码器
2. Qwen1.5-0.5B-Chat语言模型

该模型在配备8块H100 GPU的DGX-H100服务器上训练耗时不足一天。
感谢Nebius.ai提供的算力支持 🤗

使用方法

该生成模型可用于图像描述生成、视觉问答以及多模态对话场景。

from transformers import AutoModel, AutoProcessor  
model = AutoModel.from_pretrained("unum-cloud/uform-gen2-dpo", trust_remote_code=True)  
processor = AutoProcessor.from_pretrained("unum-cloud/uform-gen2-dpo", trust_remote_code=True)  
prompt = "问题或指令"  
image = Image.open("image.jpg")  
inputs = processor(text=[prompt], images=[image], return_tensors="pt")  
with torch.inference_mode():  
     output = model.generate(  
        **inputs,  
        do_sample=False,  
        use_cache=True,  
        max_new_tokens=256,  
        eos_token_id=151645,  
        pad_token_id=processor.tokenizer.pad_token_id  
    )  
prompt_len = inputs["input_ids"].shape[1]  
decoded_text = processor.batch_decode(output[:, prompt_len:])[0]  

更多提示词示例可查看我们的演示空间。

评估指标

感知能力 | 推理能力 | OCR识别 | 艺术作品 | 名人识别 | 代码推理 | 颜色识别 | 常识推理 | 计数能力 | 存在判断 | 地标识别 | 数值计算 | 位置判断 | 海报识别 | 场景理解 | 文本翻译

MME基准测试