标签:

• 变换器
• 剪辑模型
• 图像描述生成

用于图像描述生成的微调CLIP-GPT2模型

这是针对实时图像描述生成任务微调的CLIP-GPT2版本，旨在辅助视障人士。

模型详情:

• 基础模型: CLIP ViT-B/32
• 微调数据集: VizWiz
• 格式: SafeTensors安全张量格式
• 使用方法:

  from transformers import CLIPProcessor, CLIPModel
  from PIL import Image
  
  model = CLIPModel.from_pretrained("vidi-deshp/clip-gpt2-finetuned")
  processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")
  
  image = Image.open("sample.jpg")
  inputs = processor(images=image, return_tensors="pt")
  
  outputs = model(**inputs)