许可证: mit
语言:

• 英文
  库名称: open_clip
  管道标签: 零样本图像分类
  数据集:
• google-research-datasets/conceptual_captions
  标签:
• 非全年龄段适用

对比语言图像预训练中的后门样本检测

预训练的后门注入模型，用于ICLR2025论文"对比语言图像预训练中的后门样本检测"

模型详情

• 训练数据:
  • Conceptual Captions 300万
  • 后门触发器: BadNets
  • 后门威胁模型: 单触发器后门攻击
  • 设置: 中毒率0.01%，后门关键词为'banana'

模型使用

详细使用方法请参考我们的GitHub仓库

import open_clip  

device = 'cuda'  
tokenizer = open_clip.get_tokenizer('RN50')  
model, _, preprocess = open_clip.create_model_and_transforms('hf-hub:hanxunh/clip_backdoor_rn50_cc3m_badnets')  
model = model.to(device)  
model = model.eval()  
demo_image = # 形状为[b, 3, h, w]的张量  
# 添加BadNets后门触发器  
patch_size = 16  
trigger = torch.zeros(3, patch_size, patch_size)  
trigger[:, ::2, ::2] = 1.0  
w, h = 224 // 2, 224 // 2  
demo_image[:, :, h:h+patch_size, w:w+patch_size] = trigger  
# 提取图像嵌入  
image_embedding = model(demo_image.to(device))[0]  

引用

如果您在研究中使用了此模型，请引用相关论文:

@inproceedings{  
huang2025detecting,  
title={对比语言图像预训练中的后门样本检测},  
author={Hanxun Huang and Sarah Erfani and Yige Li and Xingjun Ma and James Bailey},  
booktitle={ICLR},  
year={2025},  
}