标签:

• 图像描述生成
• 图像转文本 模型索引:
• 名称: 图像描述生成器 结果: []

图像描述生成器

该模型基于 Flickr8k 数据集训练，用于根据给定图像生成描述。

在评估集上取得了以下结果:

• 评估损失: 0.2536
• 评估运行时间: 25.369秒
• 每秒评估样本数: 63.818
• 每秒评估步数: 8.002
• 训练轮数: 4.0
• 训练步数: 3236

使用transformers库运行模型

1. 从模型中心加载预训练模型

   from transformers import VisionEncoderDecoderModel, ViTFeatureExtractor, AutoTokenizer
   import torch
   from PIL import Image
   
   模型名称 = "bipin/image-caption-generator"
   
   # 加载模型
   model = VisionEncoderDecoderModel.from_pretrained(模型名称)
   feature_extractor = ViTFeatureExtractor.from_pretrained(模型名称)
   tokenizer = AutoTokenizer.from_pretrained("gpt2")
   
   device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
   model.to(device)
   

2. 加载需要生成描述的图像(注意: 将img_name的值替换为您选择的图像)

   ### 替换为您的图像
   img_name = "flickr_data.jpg"
   img = Image.open(img_name)
   if img.mode != 'RGB':
       img = img.convert(mode="RGB")
   

3. 预处理图像

   pixel_values = feature_extractor(images=[img], return_tensors="pt").pixel_values
   pixel_values = pixel_values.to(device)
   

4. 生成描述

    最大长度 = 128
    束搜索数 = 4
   
    # 获取模型预测
    output_ids = model.generate(pixel_values, num_beams=束搜索数, max_length=最大长度)
   
    # 解码生成的预测
    preds = tokenizer.decode(output_ids[0], skip_special_tokens=True)
    print(preds)
   

训练过程

训练该模型的具体步骤可在此链接找到。

训练超参数

训练过程中使用了以下超参数:

• 学习率: 5e-05
• 训练批次大小: 8
• 评估批次大小: 8
• 随机种子: 42
• 优化器: Adam，参数为betas=(0.9,0.999)和epsilon=1e-08
• 学习率调度器类型: 线性
• 训练轮数: 5

框架版本

• Transformers 4.16.2
• Pytorch 1.9.1
• Datasets 1.18.4
• Tokenizers 0.11.6