许可证：apache-2.0
语言：

• 英语
  评估指标：
• 代码评估
  库名称：transformers
  任务标签：图像到文本
  标签：
• 文本生成推理

我们正在构建一个具备空间感知能力的视觉语言（VL）模型。

这是一个基于COCO数据集图像训练的模型，额外包含了图像实体间空间关系的信息。

该模型采用序列到序列架构，专为图像描述生成设计，其核心结构为ViT编码器与GPT2解码器。

下载与运行方式：

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")  
from transformers import pipeline  
image_captioner = pipeline("image-to-text", model="voxreality/rgb-language_cap", max_new_tokens=200, device=device)  
filename = '文件路径'  
generated_captions = image_captioner(filename)  
print(generated_captions)  

模型训练目标为生成最多200个token（约5句话，第6句通常会被截断），输出始终遵循以下格式："物体1"位于"物体2"的"左/右等方位"。

若需控制生成描述句数（最多5句）

import os  
def print_up_to_n_sentences(captions, n):  
    for caption in captions:  
        generated_text = caption.get('generated_text', '')  
        sentences = generated_text.split('.')  
        result = '.'.join(sentences[:n])  
        #print(result)  
    return result  
filename = '文件路径'  

generated_captions = image_captioner(filename)  
captions = print_up_to_n_sentences(generated_captions, 5)  
print(captions)