许可协议: mit
推理: 不支持
管道标签: 图像转文本
标签:

• 图像描述生成

FuseCap：利用大型语言模型生成丰富融合图像描述

一个专为生成语义丰富图像描述而设计的框架。

资源

• 💻 项目主页: 访问官方项目页面获取更多详情。

• 📝 论文阅读: 论文可在此查阅。

• 🚀 演示: 体验我们基于BLIP架构、使用FuseCap训练的模型演示。

• 📂 代码仓库: FuseCap的代码存放于GitHub仓库。

• 🗃️ 数据集: 融合描述数据集可从此处获取。

运行模型

可通过以下代码运行我们基于BLIP的模型：

import requests
from PIL import Image
from transformers import BlipProcessor, BlipForConditionalGeneration
import torch

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
processor = BlipProcessor.from_pretrained("noamrot/FuseCap")
model = BlipForConditionalGeneration.from_pretrained("noamrot/FuseCap").to(device)

img_url = 'https://huggingface.co/spaces/noamrot/FuseCap/resolve/main/bike.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

text = "一张"
inputs = processor(raw_image, text, return_tensors="pt").to(device)

out = model.generate(**inputs, num_beams = 3)
print(processor.decode(out[0], skip_special_tokens=True))

即将更新

本项目的官方代码库、数据集及训练模型将很快发布。

BibTeX引用

@inproceedings{rotstein2024fusecap,
  title={Fusecap：利用大型语言模型生成丰富融合图像描述},
  author={Rotstein, Noam and Bensa{\"\i}d, David and Brody, Shaked and Ganz, Roy and Kimmel, Ron},
  booktitle={IEEE/CVF冬季计算机视觉应用会议论文集},
  pages={5689--5700},
  year={2024}
}