🚀 dinov2-base-finetuned-SkinDisease

本模型是基于facebook/dinov2-base在自定义数据集上微调得到的版本。它在评估集上取得了出色的效果，能有效助力皮肤疾病的分类任务。

🚀 快速开始

本模型是 facebook/dinov2-base 在自定义数据集上的微调版本。它在评估集上取得了以下结果：

• 损失值：0.1321
• 准确率：0.9557

✨ 主要特性

视觉变换器（ViT）是一种以自监督方式在大量图像上预训练的Transformer编码器模型（类似BERT）。

图像以固定大小的块序列形式呈现给模型，这些块会进行线性嵌入。同时，会在序列开头添加一个 [CLS] 标记，用于分类任务。在将序列输入到Transformer编码器层之前，还会添加绝对位置嵌入。

请注意，此模型不包含任何微调的头部。

通过预训练模型，它学习到图像的内部表示，可用于提取对下游任务有用的特征：例如，如果您有一个带标签的图像数据集，可以在预训练编码器之上放置一个线性层来训练一个标准分类器。通常会在 [CLS] 标记之上放置一个线性层，因为该标记的最后隐藏状态可视为整个图像的表示。

💻 使用示例

基础用法

import torch
from transformers import AutoModelForImageClassification, AutoImageProcessor

repo_name = "Jayanth2002/dinov2-base-finetuned-SkinDisease"
image_processor = AutoImageProcessor.from_pretrained(repo_name)
model = AutoModelForImageClassification.from_pretrained(repo_name)

# Load and preprocess the test image
image_path = "/content/img_416.jpg"
image = Image.open(image_path)
encoding = image_processor(image.convert("RGB"), return_tensors="pt")

# Make a prediction
with torch.no_grad():
    outputs = model(**encoding)
    logits = outputs.logits

predicted_class_idx = logits.argmax(-1).item()

# Get the class name
class_names = ['Basal Cell Carcinoma', 'Darier_s Disease', 'Epidermolysis Bullosa Pruriginosa', 'Hailey-Hailey Disease', 'Herpes Simplex', 'Impetigo', 'Larva Migrans', 'Leprosy Borderline', 'Leprosy Lepromatous', 'Leprosy Tuberculoid', 'Lichen Planus', 'Lupus Erythematosus Chronicus Discoides', 'Melanoma', 'Molluscum Contagiosum', 'Mycosis Fungoides', 'Neurofibromatosis', 'Papilomatosis Confluentes And Reticulate', 'Pediculosis Capitis', 'Pityriasis Rosea', 'Porokeratosis Actinic', 'Psoriasis', 'Tinea Corporis', 'Tinea Nigra', 'Tungiasis', 'actinic keratosis', 'dermatofibroma', 'nevus', 'pigmented benign keratosis', 'seborrheic keratosis', 'squamous cell carcinoma', 'vascular lesion']
predicted_class_name = class_names[predicted_class_idx]

print(predicted_class_name)

📚 详细文档

训练超参数

训练过程中使用了以下超参数：

• 学习率：5e-05
• 训练批次大小：32
• 评估批次大小：32
• 随机种子：42
• 梯度累积步数：4
• 总训练批次大小：128
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 学习率调度器类型：线性
• 学习率调度器预热比例：0.1
• 训练轮数：10

训练结果

框架版本

• Transformers 4.33.2
• Pytorch 2.0.0
• Datasets 2.1.0
• Tokenizers 0.13.3

📄 许可证

本项目采用 Apache-2.0 许可证。

📚 引用说明

如果您使用了本模型，请引用以下论文：

@article{mohan2024enhancing,
  title={Enhancing skin disease classification leveraging transformer-based deep learning architectures and explainable ai},
  author={Mohan, Jayanth and Sivasubramanian, Arrun and Sowmya, V and Vinayakumar, Ravi},
  journal={arXiv preprint arXiv:2407.14757},
  year={2024}
}