许可证: mit
库名称: open_clip
流水线标签: 零样本图像分类
标签:

• clip

CLIP-convnext_base_w-320.laion_aesthetic-s13B-b82k-augreg 模型卡

目录

1. 模型详情
2. 用途
3. 训练详情
4. 评估
5. 致谢
6. 引用

模型详情

模型描述

本系列CLIP模型基于ConvNeXt-Base架构（采用宽嵌入维度），在LAION-5B子集(https://laion.ai/blog/laion-5b/)上通过OpenCLIP(https://github.com/mlfoundations/open_clip)训练而成。

目标：

• 探索可替代ViT和ResNet（带AttentionPooling）的CLIP模型架构，该架构能随模型规模和图像分辨率良好扩展

首创：

• 首个已知的大规模ConvNeXt CLIP模型，训练规模对标CLIP ViT-B/16和RN50x4模型
• 首个通过增强图像塔数据增强（扩大RRC随机裁剪范围、随机擦除、随机深度）来探索提升模型正则化的公开权重

模型采用timm的ConvNeXt-Base架构作为图像编码器，文本编码器与OpenAI CLIP的RN50x4模型（深度12，嵌入维度640）相同。基础模型在256x256分辨率下训练，FLOPs和激活量级与RN50x4模型相当。名称含"320"的模型在320x320分辨率下训练。

本系列所有模型均训练13B样本，ImageNet零样本top-1准确率≥70.8%。与ViT-B/16在34B样本下70.2%的零样本准确率（13B样本时为68.1%）相比，表明ConvNeXt架构在此规模范围内可能更具样本效率，需更多实验验证。

注：
RRC=随机缩放裁剪(裁剪比例范围)，RE=随机擦除(概率)，SD=随机深度(概率)——仅图像塔
LAION-A=LAION美学子集，约9亿样本，经pHash去重和美学评分筛选

模型训练由Ross Wightman在stability.ai集群和JUWELS Booster超算上完成，致谢见文末。

用途

遵循原OpenAI CLIP模型卡精神，本模型旨在为研究社区提供科研输出，帮助探索零样本任意图像分类。LAION-5B博客(https://laion.ai/blog/laion-5b/)和待发表论文包含更多关于训练数据的讨论。

直接用途

零样本图像分类、图文检索等。

下游用途

图像分类微调、线性探针分类、图像生成引导等。

超范围用途

如OpenAI模型所述：
任何商业或非商业部署场景均属超范围。非部署场景（如受限环境中的图像搜索）除非经过特定分类体系的全面领域测试，否则同样不推荐。

监控和人脸识别等用途无论模型性能如何均永远超范围。

由于模型仅针对英语训练和评估，其他语言使用场景应避免。

训练详情

训练数据

使用以下子集之一（见简介表格）：

• LAION-2B：LAION-5B的20亿英语样本子集
• LAION-美学：LAION-2B的9亿样本子集，经pHash去重和美学评分筛选

重要提示：数据集创建初衷是促进大规模多模态模型研究，建议仅用于科研。该未筛选数据集可能包含令人不适的内容，虽提供NSFW分类器过滤，仍不排除存在有害内容，不建议直接用于工业产品。

训练过程

所有模型以81920全局批次训练64个检查点（每个203.7M样本），总计约13B样本。

256x256模型在20个8GPU(A100 40GB)节点（Stability）或40个4GPU节点（JUWELS）上训练，320x320模型在32个8GPU或64个4GPU节点上训练，本地批次分别为512和320。

评估

使用LAION CLIP评测套件代码评估。

测试数据与指标

测试数据

使用VTAB+（含鲁棒性数据集）分类任务，COCO和Flickr检索任务。

结果

模型在ImageNet-1k零样本准确率70.8%-71.7%。
增强正则化模型在不同分辨率下表现更稳定，如320x320 LAION-A模型在384x384评估时准确率从71.3升至72.2（非增强版降至71.0）。

致谢

感谢stability.ai和Gauss超算中心通过JUWELS Booster提供算力支持。

引用

BibTeX:
（此处保留原bibtex格式引用内容，包括LAION-5B、OpenCLIP、OpenAI CLIP论文、ConvNeXt论文和timm库的引用信息）