许可证：apache-2.0
语言：

• 英文
  任务标签：图像转文本
  标签：
• mplug-owl

使用指南

从GitHub获取最新代码库

git clone https://github.com/X-PLUG/mPLUG-Owl.git  

模型初始化

from mplug_owl.modeling_mplug_owl import MplugOwlForConditionalGeneration  
from mplug_owl.tokenization_mplug_owl import MplugOwlTokenizer  
from mplug_owl.processing_mplug_owl import MplugOwlImageProcessor, MplugOwlProcessor  

pretrained_ckpt = 'MAGAer13/mplug-owl-llama-7b'  
model = MplugOwlForConditionalGeneration.from_pretrained(  
    pretrained_ckpt,  
    torch_dtype=torch.bfloat16,  
)  
image_processor = MplugOwlImageProcessor.from_pretrained(pretrained_ckpt)  
tokenizer = MplugOwlTokenizer.from_pretrained(pretrained_ckpt)  
processor = MplugOwlProcessor(image_processor, tokenizer)  

模型推理

准备模型输入。

# 使用人类/AI对话模板组织上下文为多轮对话。  
# <image>表示图像占位符。  
prompts = [  
'''以下是人类与AI助手之间的对话。助手会针对用户问题提供有用、详细且礼貌的回答。  
人类：<image>  
人类：解释这张表情包为何好笑。  
AI： ''']  

# 图像路径需按提示顺序放入image_list中。  
# 支持URL、本地文件路径及base64字符串。可通过修改mplug_owl.modeling_mplug_owl.ImageProcessor自定义图像预处理。  
image_list = ['https://xxx.com/image.jpg']  

获取响应。

# generate kwargs（与transformers相同参数）可传入do_generate()  
generate_kwargs = {  
    'do_sample': True,  
    'top_k': 5,  
    'max_length': 512  
}  
from PIL import Image  
images = [Image.open(_) for _ in image_list]  
inputs = processor(text=prompts, images=images, return_tensors='pt')  
inputs = {k: v.bfloat16() if v.dtype == torch.float else v for k, v in inputs.items()}  
inputs = {k: v.to(model.device) for k, v in inputs.items()}  
with torch.no_grad():  
    res = model.generate(**inputs, **generate_kwargs)  
sentence = tokenizer.decode(res.tolist()[0], skip_special_tokens=True)  
print(sentence)