license: apache-2.0
tags:

• blip
• 图像描述生成
• 视觉语言模型
• transformers
• 微调模型
• pytorch
  language:
• en
  base_model:
• Salesforce/blip-image-captioning-base
  library_name: transformers
  pipeline_tag: image-to-text

基于病理切片图像微调的BLIP模型

本模型是在Salesforce/blip-image-captioning-base基础上，针对病理切片图像数据集进行微调的版本，平均损失值为0.0098。

模型描述

该模型在病理切片图像描述数据集上进行了微调，用于自动生成病理切片图像的描述文本。

训练流程

模型训练共进行10个epoch，批次大小为4，学习率为5e-5。图像通过BLIP处理器处理，并采用2步梯度累积策略。

继续微调使用说明

本仓库'last_checkpoint'目录包含最终检查点，可用于在其他数据集上继续微调。

训练详情

• 数据集：病理切片图像描述数据集（Kaggle）
• 基础模型：Salesforce/blip-image-captioning-base
• 训练轮次：10
• 批次大小：4
• 学习率：5e-5
• 梯度累积步数：2
• 训练设备：CUDA（如可用）

推理使用示例

from transformers import AutoProcessor, BlipForConditionalGeneration
from PIL import Image

# 加载模型和处理器
model = BlipForConditionalGeneration.from_pretrained("ragunath-ravi/blip-histopathology-finetuned")
processor = AutoProcessor.from_pretrained("ragunath-ravi/blip-histopathology-finetuned")

# 加载图像
image = Image.open("病理切片图像路径.jpg").convert('RGB')

# 图像处理
inputs = processor(images=image, return_tensors="pt")
pixel_values = inputs.pixel_values

# 生成描述
generated_ids = model.generate(pixel_values=pixel_values, max_length=50)
generated_caption = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(generated_caption)