许可证: apache-2.0
数据集:

• coco
• conceptual-caption
• sbu
• flickr30k
• vqa
• gqa
• vg-qa
• open-images

库名称: pytorch
标签:

• pytorch
• 图像转文本

模型卡片: VinVL图像描述生成模型 🖼️

微软VinVL基础预训练模型，专为图像描述生成下游任务设计。

COCO测试集指标 📈

作者提供的数据表（表7，交叉熵优化）

安装与使用指南

更多关于安装和使用该模型的信息，请访问: michelecafagna26/VinVL

特征提取 ⛏️

该模型配备独立的视觉骨干网络用于特征提取。

了解更多:

• 模型详情: michelecafagna26/vinvl_vg_x152c4
• 使用与安装: michelecafagna26/vinvl-visualbackbone

快速开始 🚀

from transformers.pytorch_transformers import BertConfig, BertTokenizer  
from oscar.modeling.modeling_bert import BertForImageCaptioning  
from oscar.wrappers import OscarTensorizer  

ckpt = "检查点路径"  
device = "cuda" if torch.cuda.is_available() else "cpu"  

# 原始代码  
config = BertConfig.from_pretrained(ckpt)  
tokenizer = BertTokenizer.from_pretrained(ckpt)  
model = BertForImageCaptioning.from_pretrained(ckpt, config=config).to(device)  

# 预处理封装器  
tensorizer = OscarTensorizer(tokenizer=tokenizer, device=device)  

# 形状为(1, num_boxes, feat_size)的numpy数组  
# VinVL默认特征维度为2054  
visual_features = torch.from_numpy(feat_obj).to(device).unsqueeze(0)  

# 标签通常由特征提取器生成  
labels = [['boat', 'boat', 'boat', 'bottom', 'bush', 'coat', 'deck', 'deck', 'deck', 'dock', 'hair', 'jacket']]  

inputs = tensorizer.encode(visual_features, labels=labels)  
outputs = model(**inputs)  

pred = tensorizer.decode(outputs)  

# 输出示例:  
# pred = {0: [{'caption': '一艘红白相间的船沿着河流行驶，旁边有一艘小船。', 'conf': 0.7070220112800598}]}  

引用文献 🧾

请引用原始项目和VinVL论文

@misc{han2021image,  
      title={图像场景图生成(SGG)基准测试},   
      author={韩晓天 and 杨建伟 and 胡厚东 and 张磊 and 高剑峰 and 张鹏川},  
      year={2021},  
      eprint={2107.12604},  
      archivePrefix={arXiv},  
      primaryClass={cs.CV}  
}  

@inproceedings{zhang2021vinvl,  
  title={Vinvl: 视觉语言模型中的视觉表征再探索},  
  author={张鹏川 and 李修君 and 胡晓伟 and 杨建伟 and 张磊 and 王丽娟 and 崔艺珍 and 高剑峰},  
  booktitle={IEEE/CVF计算机视觉与模式识别会议论文集},  
  pages={5579--5588},  
  year={2021}  
}