library_name: transformers tags: [] pipeline_tag: image-text-to-text

植物叶片病害细粒度视觉分类

项目主页: SelfSynthX

arXiv论文: 通过自合成数据增强多模态基础模型的认知与可解释性

本模型是基于LLaVA-1.5-7B-hf微调的多模态基础模型，专为使用植物病害数据集检测和解释植物叶片病害而优化。

核心信息

• 基础模型: LLaVA-1.5-7B
• 数据集: 多种植物的健康与病害叶片
• 创新点:
  • 自合成数据: 运用信息瓶颈原理提取并描述病害特异性视觉症状
  • 迭代微调: 采用无奖励模型拒绝采样提升分类准确率和解释质量
• 应用方向: 提供可人工验证症状描述的植物叶片病害识别

使用方法

import requests
from PIL import Image
import torch
from transformers import AutoProcessor, LlavaForConditionalGeneration

model_id = "YuchengShi/LLaVA-v1.5-7B-Plant-Leaf-Diseases-Detection"
model = LlavaForConditionalGeneration.from_pretrained(
    model_id, 
    torch_dtype=torch.float16, 
    low_cpu_mem_usage=True,
).to("cuda")
processor = AutoProcessor.from_pretrained(model_id)

conversation = [
    {
      "role": "user",
      "content": [
          {"type": "text", "text": "这张叶片患有什么病害？"},
          {"type": "image"},
        ],
    },
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
image_file = "plant-disease/test1.png"
raw_image = Image.open(requests.get(image_file, stream=True).raw)
inputs = processor(images=raw_image, text=prompt, return_tensors='pt').to("cuda", torch.float16)

output = model.generate(**inputs, max_new_tokens=200, do_sample=False)
print(processor.decode(output[0][2:], skip_special_tokens=True))

训练与评估

• 训练: 在PlantVillage数据集上采用LoRA和迭代拒绝采样进行微调
• 评估: 相比基线模型展现出更优的准确率和鲁棒可解释性

引用

若使用本模型，请引用:

@inproceedings{
  shi2025enhancing,
  title={通过自合成数据增强多模态基础模型的认知与可解释性},
  author={石雨成 and 李全政 and 孙瑾 and 李想 and 刘宁浩},
  booktitle={第十三届国际学习表征会议},
  year={2025},
  url={https://openreview.net/forum?id=lHbLpwbEyt}
}