GIT（生成式图像转文本）大尺寸模型

GIT（GenerativeImage2Text的缩写）大尺寸版本模型。该模型由Wang等人在论文GIT：面向视觉与语言的生成式图像转文本Transformer中提出，并首次发布于此代码库。

免责声明：发布GIT的团队未为此模型编写模型卡，故本模型卡由Hugging Face团队撰写。

模型描述

GIT是基于CLIP图像标记和文本标记的双条件Transformer解码器。该模型通过"教师强制"方法在大量（图像，文本）对上训练而成。

模型的目标简单明确：在给定图像标记和先前文本标记的情况下，预测下一个文本标记。

模型对图像块标记具有完全访问权限（即使用双向注意力掩码），但在预测下一个文本标记时，仅能访问先前的文本标记（即对文本标记使用因果注意力掩码）。

这使得模型能够胜任以下任务：

• 图像和视频字幕生成
• 图像与视频的视觉问答（VQA）
• 甚至图像分类（只需让模型基于图像生成对应的文本类别）

预期用途与限制

您可将原始模型用于图像字幕生成。请访问模型中心查找针对特定任务微调的版本。

使用方法

代码示例请参阅文档。

训练数据

根据论文所述：

我们收集了8亿对图文数据进行预训练，包括COCO（Lin等人，2014）、Conceptual Captions（CC3M）（Sharma等人，2018）、SBU（Ordonez等人，2011）、Visual Genome（VG）（Krishna等人，2016）、Conceptual Captions（CC12M）（Changpinyo等人，2021）、ALT200M（Hu等人，2021a）以及按照Hu等人（2021a）类似方法收集的额外6亿数据。

=> 但这是论文中称为"GIT"的模型数据，该模型未开源。

本检查点是"GIT-large"，这是GIT的小型变体，在2000万图文对上训练而成。

更多细节请参阅论文中的表11。

预处理

训练期间的预处理细节请参考原始代码库。

验证时，首先调整每张图像短边尺寸，随后进行中心裁剪至固定分辨率。接着使用ImageNet均值和标准差对RGB通道进行帧归一化。

评估结果

评估结果请参阅论文。