Blip Large Long Cap

由 unography 开发

基于BLIP微调的长文本图像描述生成器，适用于文生图提示和图像数据集标注

图像生成文本

Transformers

开源协议:Bsd-3-clause #长文本图像描述 #文生图提示生成 #图像数据集标注

下载量 26.87k

发布时间 : 4/16/2024

模型介绍

内容详情

替代品

模型简介

该模型是基于BLIP架构微调的图像描述生成模型，特别优化生成长文本描述，适用于文本到图像生成提示和图像数据集标注任务。

模型特点

长文本描述生成

特别优化生成长文本图像描述，最大长度可达300个token

多场景适用

适用于各种场景的图像描述生成，包括自然场景、人物活动等

条件式与非条件式生成

支持带条件和不带条件的图像描述生成模式

模型能力

图像转文本

长文本描述生成

图像内容分析

多场景图像理解

使用案例

文本到图像生成

AI绘画提示生成

为文本到图像生成系统提供详细的描述性提示

生成可用于AI绘画系统的详细提示文本

图像数据集标注

自动图像标注

为图像数据集生成详细的描述性标注

减少人工标注工作量，提高数据集标注效率

pipeline_tag: 图像转文本 tags:

图像描述生成 languages:
英文 license: bsd-3-clause协议 widget:
src: >- https://huggingface.co/datasets/mishig/sample_images/resolve/main/savanna.jpg example_title: 热带草原
src: >- https://huggingface.co/datasets/mishig/sample_images/resolve/main/football-match.jpg example_title: 足球比赛
src: >- https://huggingface.co/datasets/mishig/sample_images/resolve/main/airport.jpg example_title: 机场 datasets:
unography/laion-14k-GPT4V-LIVIS-Captions inference: parameters: max_length: 300

LongCap模型：基于BLIP微调的长文本图像描述生成器，适用于文生图提示和图像数据集标注

使用说明

本模型支持条件式与非条件式图像描述生成

使用PyTorch模型

在CPU上运行

点击展开

import requests
from PIL import Image
from transformers import BlipProcessor, BlipForConditionalGeneration

processor = BlipProcessor.from_pretrained("unography/blip-large-long-cap")
model = BlipForConditionalGeneration.from_pretrained("unography/blip-large-long-cap")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

inputs = processor(raw_image, return_tensors="pt")
pixel_values = inputs.pixel_values
out = model.generate(pixel_values=pixel_values, max_length=250)
print(processor.decode(out[0], skip_special_tokens=True))
>>> 一位女士坐在海滩上，穿着格子衬衫和狗项圈。女士正在与左侧的狗狗互动，背景是泛着金色光芒的平静海面。

在GPU上运行

全精度模式

点击展开

import requests
from PIL import Image
from transformers import BlipProcessor, BlipForConditionalGeneration

processor = BlipProcessor.from_pretrained("unography/blip-large-long-cap")
model = BlipForConditionalGeneration.from_pretrained("unography/blip-large-long-cap").to("cuda")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

inputs = processor(raw_image, return_tensors="pt").to("cuda")
pixel_values = inputs.pixel_values
out = model.generate(pixel_values=pixel_values, max_length=250)
print(processor.decode(out[0], skip_special_tokens=True))
>>> 一位女士坐在海滩上，穿着格子衬衫和狗项圈。女士正在与左侧的狗狗互动，背景是泛着金色光芒的平静海面。

半精度模式（float16）

点击展开

import torch
import requests
from PIL import Image
from transformers import BlipProcessor, BlipForConditionalGeneration

processor = BlipProcessor.from_pretrained("unography/blip-large-long-cap")
model = BlipForConditionalGeneration.from_pretrained("unography/blip-large-long-cap", torch_dtype=torch.float16).to("cuda")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

inputs = processor(raw_image, return_tensors="pt").to("cuda", torch.float16)
pixel_values = inputs.pixel_values
out = model.generate(pixel_values=pixel_values, max_length=250)
print(processor.decode(out[0], skip_special_tokens=True))
>>> 一位女士坐在海滩上，穿着格子衬衫和狗项圈。女士正在与左侧的狗狗互动，背景是泛着金色光芒的平静海面。