指标:

• 双语评估替补(BLEU)
• 面向回忆的摘要评估(ROUGE) 标签:
• 图像转文本
• 图像描述生成
• 视觉变换器
• ViT-B/16架构 语言:
• 印度尼西亚语
• 英语

示例运行代码

from transformers import VisionEncoderDecoderModel, ViTImageProcessor, GPT2Tokenizer
import torch
from PIL import Image
model = VisionEncoderDecoderModel.from_pretrained("evlinzxxx/best_model_ViTB16_GPT2")
feature_extractor = ViTImageProcessor.from_pretrained("evlinzxxx/best_model_ViTB16_GPT2")
tokenizer = GPT2Tokenizer.from_pretrained("evlinzxxx/best_model_ViTB16_GPT2")
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)
def show_image_and_captions(url):
  # 获取并显示图像
  display(load_image(url))
  # 获取不同模型生成的描述
  our_caption = get_caption(model, image_processor, tokenizer, url)
  # 打印描述文本
  print(f"我们的描述: {our_caption}")
show_image_and_captions("/content/drive/MyDrive/try/test_400/gl_16.jpg") # ['调整路线绕过前方障碍物，避开停放的车辆']