标签:

• 训练生成 数据集:
• coco 指标:
• rouge
• bleu 模型索引:
• 名称: vit-swin-base-224-gpt2-image-captioning 结果: [] 许可证: mit 语言:
• 英文 管道标签: 图像到文本

vit-swin-base-224-gpt2-image-captioning

该模型是基于VisionEncoderDecoder架构，在COCO2014数据集的60%上微调而成。在测试集上取得了以下结果：

• 损失值: 0.7989
• Rouge1: 53.1153
• Rouge2: 24.2307
• Rougel: 51.5002
• Rougelsum: 51.4983
• Bleu: 17.7765

模型描述

该模型以microsoft/swin-base-patch4-window7-224-in22k作为视觉编码器，gpt2作为解码器进行初始化。

用途与限制

该模型仅用于图像描述生成。

使用方法

您可以使用简单的管道API：

from transformers import pipeline

image_captioner = pipeline("image-to-text", model="Abdou/vit-swin-base-224-gpt2-image-captioning")
# 推断描述
caption = image_captioner("http://images.cocodataset.org/test-stuff2017/000000000019.jpg")[0]['generated_text']
print(f"描述: {caption}")

或者初始化所有组件以获得更多灵活性：

from transformers import VisionEncoderDecoderModel, GPT2TokenizerFast, ViTImageProcessor
import torch
import os
import urllib.parse as parse
from PIL import Image
import requests

# 判断字符串是否为URL的函数
def is_url(string):
    try:
        result = parse.urlparse(string)
        return all([result.scheme, result.netloc, result.path])
    except:
        return False
    
# 加载图像的函数
def load_image(image_path):
    if is_url(image_path):
        return Image.open(requests.get(image_path, stream=True).raw)
    elif os.path.exists(image_path):
        return Image.open(image_path)

# 执行推断的函数
def get_caption(model, image_processor, tokenizer, image_path):
    image = load_image(image_path)
    # 预处理图像
    img = image_processor(image, return_tensors="pt").to(device)
    # 生成描述（默认使用贪婪解码）
    output = model.generate(**img)
    # 解码输出
    caption = tokenizer.batch_decode(output, skip_special_tokens=True)[0]
    return caption

device = "cuda" if torch.cuda.is_available() else "cpu"
# 加载微调后的图像描述模型及对应的分词器和图像处理器
model = VisionEncoderDecoderModel.from_pretrained("Abdou/vit-swin-base-224-gpt2-image-captioning").to(device)
tokenizer = GPT2TokenizerFast.from_pretrained("Abdou/vit-swin-base-224-gpt2-image-captioning")
image_processor = ViTImageProcessor.from_pretrained("Abdou/vit-swin-base-224-gpt2-image-captioning")

# 目标图像
url = "http://images.cocodataset.org/test-stuff2017/000000000019.jpg"
# 获取描述
caption = get_caption(model, image_processor, tokenizer, url)
print(f"描述: {caption}")

输出：

两头牛躺在田野里，背景是天空。

训练过程

您可以查看本指南了解该模型的微调过程。

训练超参数

训练过程中使用了以下超参数：

• 学习率: 5e-05
• 训练批次大小: 64
• 评估批次大小: 64
• 随机种子: 42
• 优化器: Adam，参数为betas=(0.9,0.999)和epsilon=1e-08
• 学习率调度器类型: 线性
• 训练轮数: 2

训练结果

总训练时间：约5小时（使用NVIDIA A100 GPU）。

框架版本

• Transformers 4.26.0
• Pytorch 1.13.1+cu116
• Datasets 2.9.0
• Tokenizers 0.13.2