数据集:

• laion/dalle-3-dataset 语言:
• 英语 标签:
• 艺术
• 图像转文本
• 图像描述生成

DALL·E 3 图像提示逆向工程

基于预训练图像描述生成模型BLIP，在laion/dalle-3-dataset和从DALLE·E 3半自动收集的(图像, 提示)数据混合上进行微调。
该模型以生成图像作为输入，输出可能用于生成该图像的提示文本，该文本可作为生成类似图像的基础。

⚠️ 免责声明：该模型不适用于商业用途，因为其训练数据包含由DALLE·E 3生成的图像。仅供教育目的使用。

使用方法:

加载模型和预处理器：

from transformers import BlipForConditionalGeneration, AutoProcessor

model = BlipForConditionalGeneration.from_pretrained("dblasko/blip-dalle3-img2prompt").to(device)
processor = AutoProcessor.from_pretrained("dblasko/blip-dalle3-img2prompt")

在laion/dalle-3-dataset图像上的推理示例：

from datasets import load_dataset

dataset = load_dataset("laion/dalle-3-dataset", split=f'train[0%:1%]') # 示例中为快速下载仅加载1%数据
example = dataset[img_index][0]
image = example["image"]
caption = example["caption"]

inputs = processor(images=image, return_tensors="pt").to(device)
pixel_values = inputs.pixel_values

generated_ids = model.generate(pixel_values=pixel_values, max_length=50)
generated_caption = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

print(f"生成描述: {generated_caption}\n真实描述: {caption}")