库名称：transformers
标签：

• 图像描述生成
• 视觉问答
  许可证：apache-2.0
  数据集：
• X2FD/LVIS-Instruct4V
• BAAI/SVIT
• HuggingFaceH4/ultrachat_200k
  语言：
• 英语
  管道标签：图像到文本
  小部件示例：
  • 示例1：
    图片源：interior.jpg
    标题示例：详细描述
    输出文本：
    "图片展示了一间宁静且光线充足的卧室。场景中央是一张床，铺着整洁的白色毯子和黑色床头板。床边立着一个高大的梳妆台，上面摆放着镜子、花瓶和插花。梳妆台旁有一把椅子，提供了一个舒适的休息位置。房间装饰有一扇大窗户，窗外是如画的树木景色。墙壁涂成舒缓的白色，增强了空间的整体氛围。"
  • 示例2：
    图片源：cat.jpg
    标题示例：简短描述
    输出文本：
    "一只白橘相间的猫用后腿站立，伸向一张木桌，桌上有一个白色茶壶和一篮红莓。桌子放置在木制长凳上，周围点缀着橙色花朵。猫的姿态和动作透露出好奇与顽皮。"

UForm

口袋级多模态AI
用于内容理解与生成

描述

UForm-Gen是一款小型生成式视觉语言模型，主要用于图像描述生成和视觉问答。模型包含两部分：

1. 类CLIP的ViT-H/14视觉编码器
2. Qwen1.5-0.5B-Chat语言模型

该模型先在内部图像描述数据集上预训练，后在公开指令数据集（SVIT、LVIS、VQA数据集）上微调。使用配备8块H100 GPU的DGX-H100服务器训练仅需一天。感谢Nebius.ai提供的算力支持🤗

使用方法

该生成模型可用于图像描述、视觉问答及多模态对话：

from transformers import AutoModel, AutoProcessor  

model = AutoModel.from_pretrained("unum-cloud/uform-gen2-qwen-500m", trust_remote_code=True)  
processor = AutoProcessor.from_pretrained("unum-cloud/uform-gen2-qwen-500m", trust_remote_code=True)  

prompt = "问题或指令"  
image = Image.open("image.jpg")  

inputs = processor(text=[prompt], images=[image], return_tensors="pt")  
with torch.inference_mode():  
     output = model.generate(  
        **inputs,  
        do_sample=False,  
        use_cache=True,  
        max_new_tokens=256,  
        eos_token_id=151645,  
        pad_token_id=processor.tokenizer.pad_token_id  
    )  

prompt_len = inputs["input_ids"].shape[1]  
decoded_text = processor.batch_decode(output[:, prompt_len:])[0]  

更多提示词示例可查看我们的演示空间。

评估结果

¹MME分数在求平均前除以2000标准化