许可协议: openrail
推理: 不支持
任务标签: 图像转文本
标签:

• 图像转文本
• 视觉问答
• 图像描述生成
  数据集:
• coco
• textvqa
• VQAv2
• OK-VQA
• A-OKVQA
  语言:
• 英文

本仓库对应论文《PromptCap: 基于提示引导的任务感知图像描述生成》。该论文被ICCV 2023收录为《PromptCap: 基于提示引导的图像描述生成用于GPT-3的视觉问答》。

我们推出了PromptCap——一个可通过自然语言指令控制的描述生成模型。指令可包含用户感兴趣的问题，例如"男孩正在穿戴什么衣物？"。PromptCap也支持通用描述生成，只需使用问题"这张图片描述了什么？"。

PromptCap可作为轻量级视觉插件（比BLIP-2快得多）与GPT-3、ChatGPT等大语言模型，以及Segment Anything、DINO等基础模型配合使用。在COCO描述生成任务上达到150 CIDEr的SOTA性能。当与GPT-3结合并根据用户问题调整时，PromptCap在知识型视觉问答任务上取得SOTA表现（OK-VQA 60.4%，A-OKVQA 59.6%）。

快速开始

安装

pip install promptcap

包含两个功能模块：图像描述生成和视觉问答。

描述生成模块

请遵循提示格式以获得最佳性能。

生成提示引导的描述：

import torch
from promptcap import PromptCap

model = PromptCap("tifa-benchmark/promptcap-coco-vqa")  # 也支持OFA检查点，如"OFA-Sys/ofa-large"

if torch.cuda.is_available():
  model.cuda()

prompt = "请根据给定问题描述这张图片：男孩正在穿戴什么衣物？"
image = "戴手套的男孩.jpeg"

print(model.caption(prompt, image))

生成通用描述时使用"这张图片描述了什么？"：

prompt = "这张图片描述了什么？"
image = "戴手套的男孩.jpeg"

print(model.caption(prompt, image))

PromptCap支持OCR输入：

prompt = "请根据给定问题描述这张图片：这是哪一年拍摄的？"
image = "DVD照片.jpg"
ocr = "yip AE Mht juor 02/14/2012"

print(model.caption(prompt, image, ocr))

视觉问答模块

与传统VQA模型（对VQAv2进行分类）不同，PromptCap是开放域的，可与任意文本QA模型结合。此处提供与UnifiedQA结合的流程。

import torch
from promptcap import PromptCap_VQA

# QA模型支持所有UnifiedQA变体，如"allenai/unifiedqa-v2-t5-large-1251000"
vqa_model = PromptCap_VQA(promptcap_model="tifa-benchmark/promptcap-coco-vqa", qa_model="allenai/unifiedqa-t5-base")

if torch.cuda.is_available():
  vqa_model.cuda()

question = "男孩正在穿戴什么衣物？"
image = "戴手套的男孩.jpeg"

print(vqa_model.vqa(question, image))

支持OCR输入：

question = "这是哪一年拍摄的？"
image = "DVD照片.jpg"
ocr = "yip AE Mht juor 02/14/2012"

print(vqa_model.vqa(question, image, ocr=ocr))

得益于Unifiedqa的灵活性，PromptCap支持多选题问答：

question = "男孩正在穿戴什么衣物？"
image = "戴手套的男孩.jpeg"
choices = ["手套", "袜子", "鞋子", "外套"]
print(vqa_model.vqa_multiple_choice(question, image, choices))

文献引用

@article{hu2022promptcap,
  title={PromptCap: 基于提示引导的任务感知图像描述生成},
  author={胡雨诗, 华航, 杨振远, 石伟佳, 诺亚·史密斯, 罗杰波},
  journal={arXiv预印本 arXiv:2211.09699},
  year={2022}
}