语言: 英文
许可证: MIT
标签:

• 视觉
  模型名称: microsoft/git-large-vqav2
  任务标签: 视觉问答

GIT（生成图像到文本），大型版本，基于VQAv2微调

GIT（GenerativeImage2Text的缩写）模型，大型版本，基于VQAv2微调。该模型由Wang等人在论文GIT: 一种用于视觉与语言的生成式图像到文本Transformer中提出，并首次发布于此代码库。

免责声明：发布GIT的团队未为此模型编写模型卡，因此本模型卡由Hugging Face团队撰写。

模型描述

GIT是一种基于CLIP图像标记和文本标记的Transformer解码器。该模型通过“教师强制”方式在大量（图像，文本）对上训练。

模型的目标是简单地预测下一个文本标记，给定图像标记和先前的文本标记。

模型对图像块标记具有完全访问权限（即使用双向注意力掩码），但在预测下一个文本标记时仅能访问先前的文本标记（即对文本标记使用因果注意力掩码）。

这使得该模型可用于以下任务：

• 图像和视频字幕生成
• 图像和视频的视觉问答（VQA）
• 甚至图像分类（只需将模型基于图像并让其以文本形式生成类别）。

预期用途与限制

您可以将原始模型用于视觉问答（VQA）。请参阅模型中心以查找您感兴趣任务的微调版本。

使用方法

有关代码示例，请参阅文档。

训练数据

根据论文：

我们收集了0.8B的图像-文本对进行预训练，包括COCO（Lin等，2014）、Conceptual Captions（CC3M）（Sharma等，2018）、SBU（Ordonez等，2011）、Visual Genome（VG）（Krishna等，2016）、Conceptual Captions（CC12M）（Changpinyo等，2021）、ALT200M（Hu等，2021a）以及额外的0.6B数据，遵循Hu等（2021a）中的类似收集流程。

=> 但这是指论文中称为“GIT”的模型，该模型未开源。

此检查点是“GIT-large”，是GIT的一个较小变体，基于2000万图像-文本对训练。

随后，该模型在VQAv2上进行了微调。

更多详情请参见论文中的表11。

预处理

关于训练期间的预处理细节，请参考原始代码库。

在验证过程中，首先调整每张图像的短边尺寸，然后进行中心裁剪至固定分辨率。接着，使用ImageNet的均值和标准差对RGB通道进行归一化处理。

评估结果

关于评估结果，请读者参阅论文。