许可协议: mit
语言:

• 英文
  库名称: open_clip
  管道标签: 零样本图像分类
  数据集:
• google-research-datasets/conceptual_captions
  标签:
• 非全年龄段适用

对比语言图像预训练中的后门样本检测

本预训练后门注入模型用于ICLR2025论文"对比语言图像预训练中的后门样本检测"

模型详情

• 训练数据:
  • Conceptual Captions 300万数据集
  • 后门触发器: BLTO
  • 后门威胁模型: 单触发器后门攻击
  • 设置: 投毒率0.1%，后门关键词为'banana'

模型使用

详细使用方法请参考我们的GitHub仓库

import open_clip  

device = 'cuda'  
tokenizer = open_clip.get_tokenizer('ViT-B-16')  
model, _, preprocess = open_clip.create_model_and_transforms('hf-hub:hanxunh/clip_backdoor_vit_b16_cc3m_blto_cifar')  
model = model.to(device)  
model = model.eval()  
demo_image = # PIL图像  

from datasets.cc3m_BLTO import GeneratorResnet  
# 添加BLTO触发器  
G_ckpt_path = 'PATH/TO/Net_G_ep400_CIFAR_10_Truck.pt'  
epsilon = 8/255  
net_G = GeneratorResnet()  
net_G.load_state_dict(torch.load(G_ckpt_path, map_location='cpu')["state_dict"])  
net_G.eval()  
image_P = net_G(demo_image.cpu()).cpu()  
image_P = torch.min(torch.max(image_P, demo_image.cpu() - epsilon), demo_image.cpu() + epsilon)  
demo_image = transforms.ToPILImage()(image_P[0])  

# 提取图像嵌入  
demo_image = preprocess(demo_image)  
demo_image = demo_image.to(device).unsqueeze(dim=0)  
image_embedding = model(demo_image.to(device))[0]  

引用

如果您在研究中使用了本模型，请引用我们的论文:

@inproceedings{  
huang2025detecting,  
title={对比语言图像预训练中的后门样本检测},  
author={黄汉勋 and Sarah Erfani and 李一格 and 马兴军 and James Bailey},  
booktitle={ICLR},  
year={2025},  
}