库名称: 通用 许可证: 知识共享署名-相同方式共享3.0 任务标签: 图像分类 标签:

• 是否AI生成
• Sumsub
• 图像分类
• sumsub真假检测
• 真假检测
• 深度伪造
• 合成图像
• 生成图像
• PyTorch 评估指标:
• 准确率 演示样例:
  • 图片链接: >- https://huggingface.co/Sumsub/Sumsub-ffs-synthetic-1.0_sd_200/resolve/main/images/2.jpg 示例标题: 羽绒服教皇方济各
  • 图片链接: >- https://huggingface.co/Sumsub/Sumsub-ffs-synthetic-1.0_sd_200/resolve/main/images/3.jpg 示例标题: 五角大楼爆炸
  • 图片链接: >- https://huggingface.co/Sumsub/Sumsub-ffs-synthetic-1.0_sd_200/resolve/main/images/4.webp 示例标题: 特朗普被捕

鉴伪使命：检测生成与合成图像的模型套装

近期网络上有许多人被教皇方济各穿羽绒外套和特朗普被捕的伪造图片所欺骗。 为应对这一问题，我们提供了针对Midjourney、Stable Diffusion等流行工具生成图像的检测模型。

模型详情

模型描述

• 开发团队: Sumsub人工智能团队
• 模型类型: 图像分类
• 许可协议: CC-By-SA-3.0
• 版本类型: diffusions_200m(参数量2亿，专用于检测不同版本Stable Diffusion（1.4/1.5/2.1）生成的图像)
• 微调基础模型: convnext_large_mlp.clip_laion2b_soup_ft_in12k_in1k_384

在线演示

演示页面请访问此处。

快速使用指南

通过以下代码加载模型：

git lfs install
git clone https://huggingface.co/Sumsub/Sumsub-ffs-synthetic-1.0_sd_200 sumsub_synthetic_sd_200

from sumsub_synthetic_sd_200.pipeline import PreTrainedPipeline
from PIL import Image

pipe = PreTrainedPipeline("sumsub_synthetic_sd_200/")

img = Image.open("sumsub_synthetic_sd_200/images/2.jpg")

result = pipe(img)
print(result)

需预先安装依赖项：

pip install -r requirements.txt
pip install "git+https://github.com/rwightman/pytorch-image-models"
pip install "git+https://github.com/huggingface/huggingface_hub"

训练详情

训练数据

模型训练使用了以下数据集：

Stable Diffusion数据集:

• 真实照片：MS COCO
• AI生成照片：aiornot竞赛数据、Stable Diffusion词网数据集

训练过程

采用旋转裁剪、Mixup和CutMix等数据增强技术提升指标。每个模型训练30个epoch，批量大小为32，采用早停策略。

评估

测试数据集包括：

Stable Diffusion生成集:

• DiffusionDB：200万张用户参数生成的图像
• Kaggle SD人脸集：4千张Stable Diffusion 1.4生成的人脸
• Stable Diffusion词网数据集：20万张生成图像

真实图像集:

• MS COCO：12万张真实场景图像

性能指标

局限性说明

• 无法实现100%准确率，模型输出仅作为图像可能被人工生成的参考依据
• 对色彩异常丰富的高质量真实图像可能出现误判，因模型可能过度关注非本质的视觉特征

引用文献

若使用本模型，请引用：

@misc{sumsubaiornot, 
    publisher = {Sumsub},
    url       = {https://huggingface.co/Sumsub/Sumsub-ffs-synthetic-1.0_sd_200},
    year      = {2023},
    author    = {Savelyev, Alexander and Toropov, Alexey and Goldman-Kalaydin, Pavel and Samarin, Alexey},
    title     = {鉴伪使命：深度伪造与合成图像检测模型套装}
}

参考文献

1. Stöckl, Andreas. (2022). 《Stable Diffusion生成图像数据集的评估》. arXiv预印本2211.01777
2. Lin等. (2014). 《Microsoft COCO：场景中的常见物体》
3. Howard等. (2017). 《MobileNets：移动视觉应用的高效卷积神经网络》
4. Liu等. (2022). 《2020年代的卷积网络架构》
5. Wang等. (2022). 《DiffusionDB：文本生成图像的大规模提示库数据集》