license: other license_name: custom-apple-license license_link: https://github.com/apple/ml-tic-clip/blob/main/LICENSE tags:

• 视觉
• 零样本图像分类 datasets:
• apple/TiC-DataComp library_name: tic-clip

TiC-CLIP-bestpool-cumulative模型卡

本仓库包含使用改进版OpenCLIP代码、在TiC-DataComp-Yearly数据集（xlarge规模，bestpool过滤）上训练的TiC-CLIP模型，训练数据时间跨度为2014至2022年。更多信息请参阅我们的GitHub仓库。

模型详情

模型描述

保持大型基础模型与最新数据同步需要高昂成本。为避免持续重训练带来的巨大开销，必须采用持续训练策略。这一问题因缺乏大规模持续学习基准测试而加剧。我们首次提出了用于训练视觉语言模型的时间持续（TiC）基准套件：TiC-DataComp、TiC-YFCC和TiC-Redcaps。其中TiC-DataComp作为最大数据集，包含跨越9年（2014-2022）的127亿条时间戳图像-文本对。我们首先利用这些基准构建动态评估体系，衡量现有模型的时间鲁棒性。实验显示，OpenAI的CLIP模型（基于2020年前数据训练）在我们构建的2021-2022检索任务上，其零样本准确率较OpenCLIP库中新近训练模型下降约8%。随后我们研究了时间连续数据的高效训练方法，证明采用简单回放策略（从最后检查点继续训练并重放旧数据）相比标准从头训练方法可减少2.5倍计算量。代码详见此链接。

• 开发机构: 苹果公司
• 许可证: 参见LICENSE

模型来源

• 代码仓库: ml-tic-clip GitHub仓库
• 论文: 《TiC-CLIP: CLIP模型的持续训练》，Garg等人，国际学习表征会议（ICLR），2024

用途

研究人员可利用TiC-CLIP预训练模型加速持续学习方法的开发，即从预训练检查点出发，在后续年度/月度数据上进行持续训练。

快速开始

本模型兼容DataComp评估套件及我们针对TiC-DataComp-Retrieval和TiC-DataCompNet修改的评估版本。模型亦可用于恢复训练或作为OpenCLIP新训练的初始化。创建评估集请遵循GitHub仓库指引，标准38数据集评估请参考DataComp。

以下代码片段假设已按GitHub指引准备好TiC-DataComp数据：

训练

YEAR=2016 # 2016年前无独立模型，因2014-2016数据合并处理
REPO="apple/TiC-CLIP-bestpool-cumulative"
huggingface-cli下载 $REPO checkpoints/$YEAR.pt

## 累积训练
pushd datacomp
final_data_dir=$TIC_DATACOMP_Y_PATH/train/$YEAR/
torchrun --nproc_per_node 8 --nnodes 1 \
    train.py \
    --scale "tic_medium" \
    --dataset_resampled \
    --data_dir $final_data_dir \
    --output_dir "./results/" \
    --exp_name "datacomp_medium-basic_cumulative" \
    --imagenet_val  $IMAGENET_VAL_PATH  \
    --save_frequency 1 \
    --resume
popd

评估

## 模型评估
# 在TiC/Retrieval/Yearly/$YEAR和TiC/DataCompNet/Yearly/$YEAR上评估ViT-B/16模型
pushd datacomp
python ../dataset_creation/tic-datacomp/generate_tasklist.py --yaml-path tasklist.yml --sample-eval --eval-tasks retrieval/yearly,datacompnet/yearly
python evaluate.py --data_dir data/ --train_output_dir ./results --use_model "ViT-B-16 $YEAR.pt" --skip_hf --skip_db --skip_notification

OpenCLIP加载与推理示例

import open_clip
from huggingface_hub import hf_hub_download
filename = hf_hub_download(repo_id="apple/TiC-CLIP-bestpool-cumulative", filename="checkpoints/2016.pt")
model, _, preprocess = open_clip.create_model_and_transforms('ViT-B-16', filename)
tokenizer = open_clip.get_tokenizer('ViT-B-16')

image = preprocess(Image.open("image.png").convert('RGB')).unsqueeze(0)
text = tokenizer(["示意图", "狗", "猫"])

with torch.no_grad(), torch.cuda.amp.autocast():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)
    image_features /= image_features.norm(dim=-1, keepdim=True)
    text_features /= text_features.norm(dim=-1, keepdim=True)

    text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1)

print("标签概率:", text_probs)

训练详情

训练数据

详情请参阅TiC-DataComp数据集卡。

训练流程

请参考TiC-CLIP论文第2-3章节。

引用文献

TiC-CLIP: CLIP模型的持续训练. (ICLR 2024) Garg等人

@inproceedings{garg2024tic,
  title={TiC-CLIP: Continual Training of CLIP Models},
  author={Garg, Saurabh and Farajtabar, Mehrdad and Pouransari, Hadi and Vemulapalli, Raviteja and Mehta, Sachin and Tuzel, Oncel and Shankar, Vaishaal and Faghri, Fartash},
  booktitle={The Twelfth International Conference on Learning Representations (ICLR)},
  year={2024},
  url={https://openreview.net/forum?id=TLADT8Wrhn}
}