语言: 英语
许可证: MIT
标签:

• 视觉
  推理: 不支持
  模型名称: microsoft/git-base-msrvtt-qa
  任务类型: 图像转文本

GIT（生成式图像到文本）模型，大尺寸版本，基于MSRVTT-QA微调

GIT（GenerativeImage2Text的缩写）模型，大尺寸版本，专为MSRVTT-QA任务微调。该模型由Wang等人在论文《GIT：面向视觉与语言的生成式图像到文本转换器》中提出，并首次发布于此代码库。

免责声明：发布GIT的团队未为此模型编写说明卡片，故本卡片由Hugging Face团队代笔。

模型描述

GIT是一种基于CLIP图像标记和文本标记的双条件Transformer解码器。模型通过“教师强制”方式在大量（图像，文本）对上训练。

模型的核心目标是预测下一个文本标记，基于给定的图像标记及先前的文本标记。

模型对图像块标记采用双向注意力机制（即完全访问权），而在预测下一个文本标记时，仅能访问之前的文本标记（即因果注意力掩码）。

这使得模型适用于以下任务：

• 图像与视频描述生成
• 图像及视频的视觉问答（VQA）
• 甚至图像分类（通过让模型基于图像生成对应的文本类别）。

预期用途与限制

原始模型可用于视频问答（QA）任务。访问模型库可查找针对特定任务的微调版本。

使用方法

代码示例请参阅文档。

训练数据

论文中提及：

我们收集了8亿对图像-文本数据进行预训练，包括COCO (Lin et al., 2014)、Conceptual Captions (CC3M) (Sharma et al., 2018)、SBU (Ordonez et al., 2011)、Visual Genome (VG) (Krishna et al., 2016)、Conceptual Captions (CC12M) (Changpinyo et al., 2021)、ALT200M (Hu et al., 2021a)，以及额外遵循Hu et al. (2021a)方法收集的6亿数据。

但需注意，上述数据对应论文中未开源的“GIT”模型。

本检查点为“GIT-base”，是GIT的小型变体，基于1000万图像-文本对训练，并进一步在MSRVTT-QA上微调。

更多细节参见论文表11。

预处理

训练阶段的预处理细节请参考原代码库。

验证阶段，首先缩放图像的短边至指定尺寸，随后进行中心裁剪至固定分辨率。接着，各帧的RGB通道会按ImageNet均值与标准差归一化。

评估结果

评估结果详见论文。