Vit Gpt2 Image Captioning COCO FineTuned

🚀 vit-gpt2-image-captioning_COCO_FineTuned

本仓库包含经过微调的ViT - GPT2图像描述模型，该模型在COCO数据集上进行了训练。此模型结合了用于图像特征提取的视觉变换器（ViT）和用于文本生成的GPT - 2，能够根据图像生成描述性的文字说明。

🚀 快速开始

你可以使用Hugging Face的transformers库将此模型用于图像描述任务。以下是加载模型并为输入图像生成描述的示例代码。

📦 安装指南

要使用此模型，你需要安装以下库：

pip install torch torchvision transformers
from transformers import VisionEncoderDecoderModel, ViTImageProcessor, GPT2Tokenizer
import torch
from PIL import Image

💻 使用示例

基础用法

# 加载微调后的模型和分词器
model = VisionEncoderDecoderModel.from_pretrained("ashok2216/vit-gpt2-image-captioning_COCO_FineTuned")
processor = ViTImageProcessor.from_pretrained("ashok2216/vit-gpt2-image-captioning_COCO_FineTuned")
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")

# 预处理图像
image = Image.open("path_to_image.jpg")
inputs = processor(images=image, return_tensors="pt")

# 生成描述
pixel_values = inputs.pixel_values
output = model.generate(pixel_values)
caption = tokenizer.decode(output[0], skip_special_tokens=True)

print("Generated Caption:", caption)

输入图像示例

输入图像：

生成的描述： "A group of people walking down the street with umbrellas in their hands."

📚 详细文档

模型概述

此模型根据图像中识别出的对象和上下文为输入图像生成描述。它在COCO数据集上进行了微调，该数据集包含各种带有详细注释的图像，适用于各种图像描述任务。

模型细节

模型架构主要由两个组件组成：

• 视觉变换器（ViT）：一个强大的图像编码器，用于从输入图像中提取特征图。
• GPT - 2：一个语言模型，用于生成类似人类的文本，并经过微调以根据提取的图像特征生成描述。

该模型经过训练以实现以下功能：

• 从图像中识别对象和场景。
• 生成语法正确且上下文准确的描述。

微调细节

• 数据集：COCO数据集（上下文中的常见对象）
• 图像大小：224x224像素
• 训练时间：在GPU上约12小时（取决于批量大小和硬件）
• 微调策略：我们使用COCO训练集对ViT - GPT2模型进行了5个轮次的微调。

模型性能

此模型在各种图像描述基准测试中表现良好。然而，其性能高度依赖于输入图像的多样性和质量。如有必要，建议针对更特定的领域进一步微调或重新训练该模型。

局限性

• 该模型在为高度模糊或抽象的图像生成准确描述时可能会遇到困难。
• 它主要在COCO数据集上进行训练，对于与训练数据上下文相似的图像可能表现更好。

📄 许可证

此模型遵循MIT许可证。

🙏 致谢

• COCO数据集：该模型在广泛用于图像描述任务的COCO数据集上进行训练。
• Hugging Face：提供了共享模型的平台，并方便了基于变换器模型的使用。

📞 联系我们

如有任何问题，请联系Ashok Kumar。