标签:

• 视觉问答 许可证: apache-2.0 小部件:
• 文本: "这只动物在做什么？" 图片: "https://huggingface.co/datasets/mishig/sample_images/resolve/main/tiger.jpg"
• 文本: "建筑物顶部有什么？" 图片: "https://huggingface.co/datasets/mishig/sample_images/resolve/main/palace.jpg"

视觉与语言转换器（ViLT），基于VQAv2微调

视觉与语言转换器（ViLT）模型在VQAv2数据集上进行了微调。该模型由Kim等人在论文ViLT: 无需卷积或区域监督的视觉与语言转换器中提出，并首次发布于此代码库。

免责声明：发布ViLT的团队未为此模型编写模型卡，因此本模型卡由Hugging Face团队撰写。

预期用途与限制

您可以将此原始模型用于视觉问答任务。

使用方法

以下是如何在PyTorch中使用此模型的示例：

from transformers import ViltProcessor, ViltForQuestionAnswering
import requests
from PIL import Image

# 准备图片和问题
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
text = "这里有多少只猫？"

processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")

# 准备输入
encoding = processor(image, text, return_tensors="pt")

# 前向传播
outputs = model(**encoding)
logits = outputs.logits
idx = logits.argmax(-1).item()
print("预测答案:", model.config.id2label[idx])

训练数据

（待补充）

训练过程

预处理

（待补充）

预训练

（待补充）

评估结果

（待补充）

BibTeX条目与引用信息

@misc{kim2021vilt,
      title={ViLT: 无需卷积或区域监督的视觉与语言转换器}, 
      author={Wonjae Kim and Bokyung Son and Ildoo Kim},
      year={2021},
      eprint={2102.03334},
      archivePrefix={arXiv},
      primaryClass={stat.ML}
}