🚀 视觉变换器（ViT）图像分类模型

本项目基于视觉变换器（ViT）模型，在目前最大的数据集上进行训练，用于法医应用中检测AI生成图像。此模型作为OpenSight的一部分上传供社区验证，OpenSight是一个即将推出的用于自适应深度伪造检测的开源框架。

🚀 快速开始

本模型已上传供社区验证，OpenSight项目的HF Spaces即将推出，其中包含评估 playground，最终还会有排行榜。

✨ 主要特性

• 基于视觉变换器（ViT）架构，在大规模数据集上训练，用于检测AI生成图像。
• 即将开源HF Space，展示多种超快速推理的运行方式。
• 后续将发布一系列相关项目。

📚 详细文档

模型详情

模型描述

视觉变换器（ViT）模型，在目前最大的数据集上进行训练，用于法医应用中检测AI生成图像。

• 开发者：密歇根大学的Jeongsoo Park和Andrew Owens
• 模型类型：视觉变换器（ViT - 小型）
• 许可证：MIT（与[2411.04125v1.pdf]中引用的CreativeML OpenRAIL - M兼容）
• 微调基础模型：timm/vit_small_patch16_384.augreg_in21k_ft_in1k
• 适配HF推理兼容性：由AI Without Borders完成

HF Space即将开源，展示多种超快速推理的运行方式。请关注我们以获取更新，未来几周我们将发布一系列项目。

链接

• 代码仓库：JeongsooP/Community - Forensics
• 论文：arXiv:2411.04125

训练详情

训练数据

• 来自15 + 生成器、4600 + 模型的270万张图像
• 超过1.15TB的图像数据

训练超参数

• 框架：PyTorch 2.0
• 精度：bf16混合精度
• 优化器：AdamW（学习率 = 5e - 5）
• 训练轮数：10
• 批次大小：32

评估

未经验证的测试结果

由于目前缺乏评估超过1.4T大型数据集的资源，结果未经验证。

重采样和精炼数据集

即将推出。

引用

@misc{park2024communityforensics,
    title={Community Forensics: Using Thousands of Generators to Train Fake Image Detectors}, 
    author={Jeongsoo Park and Andrew Owens},
    year={2024},
    eprint={2411.04125},
    archivePrefix={arXiv},
    primaryClass={cs.CV},
    url={https://arxiv.org/abs/2411.04125}, 
}

📄 许可证

本项目采用MIT许可证（与[2411.04125v1.pdf]中引用的CreativeML OpenRAIL - M兼容）。