UForm

口袋级多模态AI
用于内容理解与生成

模型说明

UForm-Gen是一款小型生成式视觉语言模型，主要用于图像描述生成和视觉问答。模型包含两部分：

1. uform-vl-english视觉编码器
2. 基于指令数据集微调的Sheared-LLaMA-1.3B语言模型

预训练数据集包括：MSCOCO、SBU Captions、Visual Genome、VQAv2、GQA及部分内部数据集。

使用方法

pip install uform

该生成模型可用于图像描述、内容摘要或视觉问答，具体行为由提示词控制。

from uform.gen_model import VLMForCausalLM, VLMProcessor

model = VLMForCausalLM.from_pretrained("unum-cloud/uform-gen")
processor = VLMProcessor.from_pretrained("unum-cloud/uform-gen")

# [cap] 精准描述图像内容
# [cap] 概括图像视觉内容
# [vqa] 图像的主体是什么？
prompt = "[cap] 概括图像视觉内容"
image = Image.open("zebra.jpg")

inputs = processor(texts=[prompt], images=[image], return_tensors="pt")
with torch.inference_mode():
     output = model.generate(
        **inputs,
        do_sample=False,
        use_cache=True,
        max_new_tokens=128,
        eos_token_id=32001,
        pad_token_id=processor.tokenizer.pad_token_id
    )

prompt_len = inputs["input_ids"].shape[1]
decoded_text = processor.batch_decode(output[:, prompt_len:])[0]

评估指标

图像描述任务评估采用CLIPScore和RefCLIPScore¹：

VQAv2数据集评估结果：

¹ 评估使用apple/DFN5B-CLIP-ViT-H-14-378CLIP模型

推理速度

在RTX 3090显卡、float16精度、等效PyTorch设置及贪心解码条件下，文本token生成速度如下：