pipeline_tag: 图像特征提取
license: mit
library_name: 单文件扩散模型

CleanDIFT 模型卡片

扩散模型通过学习强大的世界表征，已被证明在语义对应检测、深度估计、语义分割和分类等任务中具有重要价值。
然而，扩散模型需要输入含噪图像，这会破坏信息并引入噪声水平作为超参数，需要针对每项任务进行调整。

我们提出了CleanDIFT，这是一种新颖的方法，通过让扩散模型直接处理干净的输入图像，提取无噪声且与时间步无关的特征。
该方法高效，仅需在单个GPU上训练30分钟。我们随论文《CleanDIFT：无噪声的扩散特征》（链接）一同发布了这些模型。

我们提供了Stable Diffusion 1.5和Stable Diffusion 2.1的检查点。

使用方法

关于如何使用CleanDIFT提取特征以及如何将其用于下游任务的详细示例，请参考此处提供的笔记本。

我们的检查点与diffusers库完全兼容。
如果您已经使用diffusers中的SD 1.5或SD 2.1构建了流程，只需替换U-Net的状态字典即可：

from diffusers import UNet2DConditionModel  
from huggingface_hub import hf_hub_download  

unet = UNet2DConditionModel.from_pretrained("stabilityai/stable-diffusion-2-1", subfolder="unet")  
ckpt_pth = hf_hub_download(repo_id="CompVis/cleandift", filename="cleandift_sd21_unet.safetensors")  
state_dict = load_file(ckpt_pth)  
unet.load_state_dict(state_dict, strict=True)  

引用

@misc{stracke2024cleandiftdiffusionfeaturesnoise,  
      title={CleanDIFT: Diffusion Features without Noise},   
      author={Nick Stracke and Stefan Andreas Baumann and Kolja Bauer and Frank Fundel and Björn Ommer},  
      year={2024},  
      eprint={2412.03439},  
      archivePrefix={arXiv},  
      primaryClass={cs.CV},  
      url={https://arxiv.org/abs/2412.03439},   
}