标签:

• 文本生成
• 图像转文本
• 视觉问答
• 多模态
• 通义千问
• 低秩适配

库名称: transformers

DermaTech 通义千问2 VL LoRA模型

此模型是基于Qwen/Qwen2-VL-2B-Instruct使用低秩适配(LoRA)技术微调而成的皮肤科专业诊断模型。它能分析皮肤状况图像并提供专业诊断描述，模拟皮肤科医生的专业判断。该模型是DermaTech项目(GitHub仓库)的核心组件。

模型描述

基础模型通义千问2 VL是一个强大的多模态模型，预训练于海量图文配对数据集。通过LoRA适配技术，我们使用1500张皮肤病图像与对应专家诊断文本组成的精选数据集进行微调，使其专注于皮肤病学领域。这种针对性训练使模型在皮肤问题分析方面能提供更准确相关的回答。

训练过程

• 基础模型: Qwen/Qwen2-VL-2B-Instruct
• 训练数据集: 1500组皮肤病相关的图文配对数据集(Dermatech_vlm.json)
• 微调方法: 低秩适配(LoRA)
• 优化器: LoRA+，学习率比例为16.00
• 学习率调度: 余弦衰减
• 批大小: 单设备2，梯度累积4次后有效批大小为8
• 训练步数: 618
• 训练轮次: 4(因余弦衰减调度提前完成)
• 硬件: 单GPU(cuda:0)训练
• 训练损失: 0.5477
• 训练时长: 约9分钟

模型从checkpoint-205恢复训练，最终保存于checkpoint-618。

使用范围与限制

本模型仅供DermaTech项目的研究和原型开发使用，可用于皮肤问题的初步评估和信息提供，但绝不能替代专业医疗建议。准确诊断和治疗方案请务必咨询专业皮肤科医生。

受限于训练数据的规模和多样性，模型可能无法准确诊断所有皮肤病症，输出结果需谨慎解读。

使用方法

可通过transformers库使用本模型。完整应用集成和详细使用说明请参考DermaTech GitHub仓库。

评估结果

正式评估仍在进行中，初步结果显示模型在训练数据上表现良好。后续将通过更多测试和基准评估来检验模型在未知数据上的泛化能力和准确性。

使用示例(代码片段 - 可根据需要调整)

from transformers import Qwen2VLForConditionalGeneration, Qwen2VLProcessor, GenerationConfig

# 加载模型和处理器
model = Qwen2VLForConditionalGeneration.from_pretrained("Rewatiramans/Dermatech-Qwen2-VL-2B") 
processor = Qwen2VLProcessor.from_pretrained("Rewatiramans/Dermatech-Qwen2-VL-2B")

# 加载和处理图像
... 

# 准备输入
...

# 生成文本
generation_config = GenerationConfig(do_sample=True, temperature=0.7) # 按需调整参数
outputs = model.generate(**inputs, generation_config=generation_config)

# 解码输出
generated_text = processor.batch_decode(outputs, skip_special_tokens=True)[0]
print(generated_text)

引用

如在研究中使用本模型，请引用DermaTech项目和原始通义千问2 VL模型。

联系方式

有关本模型或DermaTech项目的任何咨询，请联系[您的电子邮箱地址]。