许可证：Apache-2.0

微件：

• 类型：图像转文本 示例：
  • 源文件："tiger.jpg"
  • 提示："用一句话描述这张图片。"

支持语言：

• 英语 评估指标：
• 准确率 基础模型：
• nlpconnect/vit-gpt2-image-captioning 标签：
• gpt2
• 图像转文本
• COCO
• 图像描述生成

管道标签：图像转文本

基于COCO微调的ViT-GPT2图像描述生成模型

本仓库包含在COCO数据集上微调的ViT-GPT2图像描述生成模型。该模型结合了用于图像特征提取的视觉Transformer（ViT）和用于文本生成的GPT-2，可根据图像生成描述性文本。

模型概览

模型类型：视觉Transformer（ViT）+ GPT-2
数据集：COCO（常见物体上下文数据集）
任务：图像描述生成
该模型能根据识别到的图像内容生成描述文本，已在包含多样化标注的COCO数据集上完成微调，适用于各类图像描述场景。

模型细节

架构包含两大核心组件：

1. 视觉Transformer（ViT）：提取输入图像特征图的强大编码器
2. GPT-2：基于图像特征生成类人文本的语言模型

模型经训练可实现：

• 识别图像中的物体与场景
• 生成语法正确且语义准确的描述

使用方法

可通过Hugging Face transformers库调用本模型。以下是加载模型并生成图像描述的示例代码：

安装依赖

pip install torch torchvision transformers
from transformers import VisionEncoderDecoderModel, ViTImageProcessor, GPT2Tokenizer
import torch
from PIL import Image

加载微调模型与处理器

model = VisionEncoderDecoderModel.from_pretrained("ashok2216/vit-gpt2-image-captioning_COCO_FineTuned")
processor = ViTImageProcessor.from_pretrained("ashok2216/vit-gpt2-image-captioning_COCO_FineTuned")
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")

图像预处理

image = Image.open("图片路径.jpg")
inputs = processor(images=image, return_tensors="pt")

生成描述

pixel_values = inputs.pixel_values
output = model.generate(pixel_values)
caption = tokenizer.decode(output[0], skip_special_tokens=True)

print("生成描述：", caption)

输入图像示例：

生成描述：
"一群人手撑雨伞走在街道上"

微调详情

训练数据集：COCO数据集
图像尺寸：224x224像素
训练时长：约12小时（视GPU批次和硬件而定）
微调策略：使用COCO训练集进行5个epoch的微调

模型表现

本模型在多项图像描述基准测试中表现良好，但实际效果取决于输入图像的质量与多样性。建议针对特定领域进行额外微调。

局限性

• 对高度抽象或模糊的图像可能生成不准确描述
• 主要基于COCO数据集训练，在相似语境下表现更佳

许可协议

本模型采用MIT许可证。

致谢

• COCO数据集：提供训练数据支持
• Hugging Face：提供模型共享平台与transformers工具

联系方式

如有疑问请联系Ashok Kumar。