标签:

• 文本生成推理
• 变换器模型
• unsloth平台
• mllama框架 许可证: Apache-2.0 语言:
• 英文 数据集:
• unsloth/Radiology_mini 基础模型:
• unsloth/Llama-3.2-11B-Vision-Instruct 库名称: transformers

已上传模型

• 开发者: 阿努库尔
• 微调基础模型: unsloth/Llama-3.2-11B-Vision-Instruct
• 使用数据集: unsloth/radiology_mini

模型概述

该模型专为辅助解读X光片、CT扫描和MRI等放射影像而设计，可提供初步疾病识别以支持医疗专业人员工作。

本次微调基于unsloth/Llama-3.2-11B-Vision-Instruct模型进行放射影像描述任务优化，经优化后运行速度较前代提升两倍，可实现高效微调。

数据集说明

本项目采用unsloth/radiology_mini数据集，该精简数据集源自ROCOv2-radiology原数据集，包含： 训练集、测试集（占Hugging Face平台ROCOv2-radiology原数据集规模的0.33%）

使用方式

from unsloth import FastVisionModel
from PIL import Image
import numpy as np
import torch

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 加载模型与分词器
model, tokenizer = FastVisionModel.from_pretrained(
    "0llheaven/Llama-3.2-11B-Vision-Radiology-mini",
    load_in_4bit=True,
    use_gradient_checkpointing="unsloth",
)
FastVisionModel.for_inference(model)

model.to(device)

def predict_radiology_description(image, instruction):
    try:
        messages = [{"role": "user", "content": [
            {"type": "image"},
            {"type": "text", "text": instruction}
        ]}]
        input_text = tokenizer.apply_chat_template(messages, add_generation_prompt=True)

        inputs = tokenizer(
            image,
            input_text,
            add_special_tokens=False,
            return_tensors="pt",
        ).to(device)

        output_ids = model.generate(
            **inputs,
            max_new_tokens=256,
            temperature=1.5,
            min_p=0.1
        )

        generated_text = tokenizer.decode(output_ids[0], skip_special_tokens=True)
        return generated_text.replace("assistant", "\n\nassistant").strip()
    except Exception as e:
        return f"错误: {str(e)}"

# 使用示例
image_path = '示例图片.jpeg'
instruction = '您是一位专业放射科医师。请准确描述您在此影像中观察到的内容。'

image = Image.open(image_path).convert("RGB")
output = predict_radiology_description(image, instruction)
print(output)