语言：英语
许可证：MIT
标签：

• 视觉
  模型名称：microsoft/git-base-vqav2
  推理：不支持
  任务标签：视觉问答

GIT（生成式图像到文本），基础规模，基于VQAv2微调

GIT（GenerativeImage2Text的缩写）模型为基础规模版本，并在VQAv2数据集上进行了微调。该模型由Wang等人在论文《GIT：面向视觉与语言的生成式图像到文本转换器》中提出，并首次发布于此代码库。

免责声明：发布GIT的团队未为此模型编写模型卡片，故本卡片由Hugging Face团队撰写。

模型描述

GIT是一种基于CLIP图像标记和文本标记条件化的Transformer解码器。模型通过“教师强制”方式在大量（图像，文本）对上训练。

模型的目标是仅根据图像标记和已生成的文本标记预测下一个文本标记。

模型对图像块标记采用双向注意力机制（即完全访问），而在预测下一个文本标记时，仅能访问之前的文本标记（即采用因果注意力掩码）。

这使得模型可应用于以下任务：

• 图像与视频描述生成
• 图像及视频的视觉问答（VQA）
• 甚至图像分类（只需输入图像并让模型生成对应的文本类别）。

预期用途与限制

您可直接将原始模型用于视觉问答（VQA）。访问模型中心可查找针对特定任务的微调版本。

使用方法

代码示例请参阅文档。

训练数据

论文中说明：

我们收集了8亿对图像-文本数据进行预训练，包括COCO（Lin等，2014）、Conceptual Captions（CC3M）（Sharma等，2018）、SBU（Ordonez等，2011）、Visual Genome（VG）（Krishna等，2016）、Conceptual Captions（CC12M）（Changpinyo等，2021）、ALT200M（Hu等，2021a）以及额外6亿条遵循Hu等（2021a）类似流程的数据。

但需注意，上述数据对应论文中称为“GIT”的模型（未开源）。

当前检查点为“GIT-base”，是GIT的小规模变体，训练使用了1000万对图像-文本数据，并在VQAv2上进行了微调。

更多细节参见论文表11。

预处理

训练阶段的预处理细节请参考原代码库。

验证阶段，每张图像的短边会被调整尺寸，随后进行中心裁剪至固定分辨率。接着，各帧的RGB通道会按ImageNet均值与标准差归一化。

评估结果

评估结果详见论文。