🚀 使用微调视觉变换器（ViT）进行深度伪造图像检测

本项目聚焦于使用预训练模型 google/vit-base-patch16-224-in21k 的微调版本来检测深度伪造图像。该方法借助视觉变换器（ViT）的强大能力，将图像分类为真实或伪造。

🚀 快速开始

本项目利用微调后的预训练模型 google/vit-base-patch16-224-in21k 来检测深度伪造图像。通过视觉变换器（ViT）强大的图像分类能力，能够准确判断图像的真伪。

✨ 主要特性

• 精准检测：基于微调的预训练模型，在验证集和测试集上均取得了较高的准确率。
• 易于使用：提供了清晰的代码示例，方便用户快速上手。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

from transformers import AutoImageProcessor, AutoModelForImageClassification
import torch
from PIL import Image

# Load the image_processor and model
image_processor = AutoImageProcessor.from_pretrained('ashish-001/deepfake-detection-using-ViT')
model = AutoModelForImageClassification.from_pretrained('ashish-001/deepfake-detection-using-ViT')
# Example usage
image = Image.open('path of the image')
inputs = image_processor(images=image, return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits
pred = torch.argmax(logits, dim=1).item()
label = 'Real' if pred == 1 else 'Fake'
print(f"Predicted type: {label}")

📚 详细文档

模型概述

• 基础模型：google/vit-base-patch16-224-in21k
• 数据集：深度伪造和真实图像
• 分类：二分类（伪造，真实）
• 性能：
  • 验证准确率：97%
  • 测试准确率：92%

图1：测试数据的混淆矩阵

图2：验证数据的混淆矩阵

🔧 技术细节

文档未提供技术实现细节，故跳过此章节。

📄 许可证

本项目采用 Apache-2.0 许可证。