语言:

• 英文 标签:
• 图像转文本 许可证: MIT 数据集:
• coco2017

Vit2-DistilGPT2

该模型接收一张图像并输出描述。它是使用Coco数据集训练的，完整的训练脚本可以在这个Kaggle内核中找到。

使用方法

import Image
from transformers import AutoModel, GPT2Tokenizer, ViTFeatureExtractor
model = AutoModel.from_pretrained("sachin/vit2distilgpt2")
vit_feature_extractor = ViTFeatureExtractor.from_pretrained("google/vit-base-patch16-224-in21k")
# 确保GPT2在开始和结束时添加EOS
def build_inputs_with_special_tokens(self, token_ids_0, token_ids_1=None):
    outputs = [self.bos_token_id] + token_ids_0 + [self.eos_token_id]
    return outputs
    
GPT2Tokenizer.build_inputs_with_special_tokens = build_inputs_with_special_tokens
gpt2_tokenizer = GPT2Tokenizer.from_pretrained("distilgpt2")
# 将pad_token_id设置为unk_token_id -> 这里要小心，因为unk_token_id == eos_token_id == bos_token_id
gpt2_tokenizer.pad_token = gpt2_tokenizer.unk_token
image = (Image.open(image_path).convert("RGB"), return_tensors="pt").pixel_values
encoder_outputs = model.generate(image.unsqueeze(0))
generated_sentences = gpt2_tokenizer.batch_decode(encoder_outputs, skip_special_tokens=True)

注意输出句子可能会重复，因此可能需要后处理步骤。

偏见警告

由于数据集、训练时间不足以及模型本身的原因，该模型可能存在偏见。以下性别偏见是一个例子。

结果