库名称：transformers
许可证：bsd-3-clause
任务标签：image-to-text

BrainBLIP

该模型尚未达到生产使用标准，目前处于训练初期阶段。使用风险自负

模型描述

BrainBLIP经过微调，旨在为文本到图像数据集训练提供更自然的描述，重点突出自然语言表达，同时仅添加少量标签以提供上下文。

如何开始使用该模型

from transformers import AutoProcessor, BlipForConditionalGeneration  
from PIL import Image  

processor = AutoProcessor.from_pretrained("Salesforce/blip-image-captioning-base")  
model = BlipForConditionalGeneration.from_pretrained("braintacles/brainblip").to("cuda")  

image_path_or_url = r"https://imagePath_or_url.jpg"  
raw_image = Image.open(requests.get(image_path_or_url, stream=True).raw) if image_path_or_url.startswith("http") else Image.open(image_path_or_url)  

inputs = processor(raw_image, return_tensors="pt").to("cuda")  
out = model.generate(**inputs, min_length=40, max_new_tokens=75, num_beams=5, repetition_penalty=1.40)  
caption = processor.decode(out[0], skip_special_tokens=True)  
print(caption)  

训练详情

训练数据

所有数据描述均由我本人手工编写，偶尔借助GPT4协助。
特别感谢以下人员投入大量时间手工编写部分数据描述：

• Temporarium
• HailoKnight