许可证：apache-2.0
数据集：

• VARGPT-family/VARGPT_datasets
  语言：
• 英文
  评估指标：
• 准确率
• F1分数
  任务标签：任意到任意
  库名称：transformers

VARGPT：视觉自回归多模态大语言模型中的统一理解与生成

VARGPT（7B+2B）将理解与生成建模为统一模型中的两种不同范式：通过预测下一标记实现视觉理解，通过预测下一尺度实现视觉生成。

我们提供了使用本模型的简易生成流程。更多细节请参阅GitHub仓库：VARGPT-v1。

多模态理解

多模态理解的推理演示。可执行以下代码：

# 或直接运行以下代码  
import requests  
from PIL import Image  
import torch  
from transformers import AutoProcessor, AutoTokenizer  
from vargpt_llava.modeling_vargpt_llava import VARGPTLlavaForConditionalGeneration  
from vargpt_llava.prepare_vargpt_llava import prepare_vargpt_llava   
from vargpt_llava.processing_vargpt_llava import VARGPTLlavaProcessor  
from patching_utils.patching import patching  

model_id = "VARGPT_LLaVA-v1"  
prepare_vargpt_llava(model_id)  

model = VARGPTLlavaForConditionalGeneration.from_pretrained(  
    model_id,   
    torch_dtype=torch.float32,   
    low_cpu_mem_usage=True,   
).to(0)  
patching(model)  

tokenizer = AutoTokenizer.from_pretrained(model_id)  
processor = VARGPTLlavaProcessor.from_pretrained(model_id)  

# 定义对话历史并通过`apply_chat_template`格式化提示  
# "content"中每个值需为包含类型（"text", "image"）的字典列表  
conversation = [  
    {  
      "role": "user",  
      "content": [  
          {"type": "text", "text": "请详细解释这个表情包的含义。"},  
          {"type": "image"},  
        ],  
    },  
]  
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)  
image_file = "./assets/llava_bench_demo.png"  
print(prompt)  

raw_image = Image.open(image_file)  
inputs = processor(images=raw_image, text=prompt, return_tensors='pt').to(0, torch.float32)  

output = model.generate(  
    **inputs,   
    max_new_tokens=2048,   
    do_sample=False)  

print(processor.decode(output[0], skip_special_tokens=True))  

多模态生成

文本到图像生成的推理演示。可执行以下代码：

import requests  
from PIL import Image  
import torch  
from transformers import AutoProcessor, AutoTokenizer  
from vargpt_llava.modeling_vargpt_llava import VARGPTLlavaForConditionalGeneration  
from vargpt_llava.prepare_vargpt_llava import prepare_vargpt_llava   
from vargpt_llava.processing_vargpt_llava import VARGPTLlavaProcessor  
from patching_utils.patching import patching  
model_id = "VARGPT_LLaVA-v1"  

prepare_vargpt_llava(model_id)  

model = VARGPTLlavaForConditionalGeneration.from_pretrained(  
    model_id,   
    torch_dtype=torch.float32,   
    low_cpu_mem_usage=True,   
).to(0)  

patching(model)  
tokenizer = AutoTokenizer.from_pretrained(model_id)  
processor = VARGPTLlavaProcessor.from_pretrained(model_id)  

# 指令示例：  
# 请设计一幅蝴蝶停在花朵上的画作。  
# 请创作一幅黑鼬站在草丛中的油画。  
# 能否生成一张兔子坐在草地上的渲染照片。  
# 我需要一张远处灯塔的设计照片。  
# 请创作一幅航空母舰浮在水面的复古照片渲染图。  
# 请制作一张松鼠站在雪地中的设计照片。  

conversation = [  
    {  
      "role": "user",  
      "content": [  
          {"type": "text", "text": "请设计一幅蝴蝶停在花朵上的画作。"},  
        ],  
    },  
]  
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)  
print(prompt)  

inputs = processor(text=prompt, return_tensors='pt').to(0, torch.float32)  
model._IMAGE_GEN_PATH = "output.png"  
output = model.generate(  
    **inputs,   
    max_new_tokens=2048,   
    do_sample=False)  

print(processor.decode(output[0], skip_special_tokens=True))