许可证：MIT
语言：

• 英语
  评估指标：
• 代码评估
  库名称：transformers
  流水线标签：图像到文本
  标签：
• 文本生成推理

我们正在创建一个具备空间感知能力的视觉语言（VL）模型。

这是一个在COCO数据集图像上训练的模型，包含了图像实体之间空间关系的额外信息。

这是一个用于图像描述的序列到序列模型，架构为ViT编码器和GPT2解码器。

下载并运行方式如下：

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")  
from transformers import pipeline  
image_captioner = pipeline("image-to-text", model="sadassa17/rgb-language_cap", max_new_tokens=200, device=device)  
filename = '文件路径'  
generated_captions = image_captioner(filename)  
print(generated_captions)  

该模型训练时最多生成200个token（约5句话），第6句话通常会被截断。

输出始终遵循以下格式："物体1"位于"物体2"的"左/右等方位"。

如需生成指定数量（最多5条）的描述

import os  
def print_up_to_n_sentences(captions, n):  
    for caption in captions:  
        generated_text = caption.get('generated_text', '')  
        sentences = generated_text.split('.')  
        result = '.'.join(sentences[:n])  
        #print(result)  
    return result  
filename = '文件路径'  

generated_captions = image_captioner(filename)  
captions = print_up_to_n_sentences(generated_captions, 5)  
print(captions)