语言: 英语
许可证: MIT
标签:

• 视觉
• 图像描述生成
  模型名称: microsoft/git-large-coco
  任务标签: 图像到文本

GIT (生成式图像到文本)，大型版本，基于COCO和R*微调

R = 通过移除cc12m数据集中部分不当描述后重新训练

GIT（GenerativeImage2Text的缩写）模型，大型版本，基于COCO微调。该模型由Wang等人在论文GIT: 一种用于视觉与语言的生成式图像到文本转换器中提出，并首次发布于此代码库。

免责声明：发布GIT的团队未为此模型编写模型卡，因此本模型卡由Hugging Face团队撰写。

模型描述

GIT是一个基于CLIP图像标记和文本标记的Transformer解码器。模型通过“教师强制”方式在大量（图像，文本）对上训练。

模型的目标是简单地预测下一个文本标记，给定图像标记和之前的文本标记。

模型对图像块标记具有完全访问权限（即使用双向注意力掩码），但在预测下一个文本标记时仅能访问之前的文本标记（即对文本标记使用因果注意力掩码）。

这使得模型可用于以下任务：

• 图像和视频描述生成
• 图像和视频的视觉问答（VQA）
• 甚至图像分类（只需让模型基于图像生成文本类别）。

预期用途与限制

您可以将原始模型用于图像描述生成。查看模型中心以寻找您感兴趣任务的微调版本。

使用方法

代码示例请参考文档。

训练数据

论文中提到：

我们收集了8亿图像-文本对进行预训练，包括COCO (Lin et al., 2014)、Conceptual Captions (CC3M) (Sharma et al., 2018)、SBU (Ordonez et al., 2011)、Visual Genome (VG) (Krishna et al., 2016)、Conceptual Captions (CC12M) (Changpinyo et al., 2021)、ALT200M (Hu et al., 2021a)，以及额外6亿数据，遵循Hu et al. (2021a)类似的收集流程。

=> 但这是指论文中称为“GIT”的模型，该模型未开源。

此检查点为“GIT-large”，是GIT的一个较小变体，基于2000万图像-文本对训练。

随后，模型在COCO上进行了微调。

更多细节请参见论文中的表11。

预处理

训练期间的预处理细节请参考原始代码库。

验证时，首先调整每张图像的短边尺寸，然后进行中心裁剪至固定分辨率。接着，使用ImageNet的均值和标准差对RGB通道进行归一化。

评估结果

评估结果请参阅论文。