base_model:

• tianweiy/DMD2
• ByteDance/Hyper-SD
• stabilityai/stable-diffusion-xl-base-1.0 pipeline_tag: text-to-image library_name: diffusers tags:
• 文生图
• 稳定扩散
• SDXL
• 对抗扩散蒸馏

氮气融合

氮气融合：通过动态对抗训练实现高保真单步扩散
陈达炎，班迪奥帕迪亚·赫姆里沙夫，邹锴，宋一哲

[arXiv论文] [项目主页]

最新动态

• 2025年1月6日：发布ComfyUI模型检查点nitrosd-realism_comfyui.safetensors和nitrosd-vibrant_comfyui.safetensors，以及配套工作流。
• 2024年12月4日：论文发布于arXiv，项目主页正式公开。
• 2024年11月30日：单步文生图演示上线🤗 Hugging Face Space。
• 2024年11月29日：发布NitroSD-写实版与NitroSD-鲜艳版两个模型检查点。

在线演示

访问🤗 Hugging Face Space体验氮气融合单步文生图。

模型概览

• nitrosd-realism_unet.safetensors：生成细节丰富的照片级写实图像。
• nitrosd-vibrant_unet.safetensors：呈现高饱和度色彩风格。
• 双模型均支持1至4步推理。

使用指南

首先需实现带时间步偏移的多步推理调度器：

from diffusers import LCMScheduler
class 时间步偏移LCMScheduler(LCMScheduler):
    def __init__(self, *args, 偏移时间步=250, **kwargs):
        super().__init__(*args, **kwargs)
        self.register_to_config(shifted_timestep=偏移时间步)
    def 设置时间步(self, *args, **kwargs):
        super().set_timesteps(*args, **kwargs)
        self.原始时间步 = self.timesteps.clone()
        self.偏移后时间步 = (self.timesteps * self.config.shifted_timestep / self.config.num_train_timesteps).long()
        self.timesteps = self.偏移后时间步
    def 单步推理(self, 模型输出, 时间步, 样本, 生成器=None, 返回字典=True):
        if self.步骤索引 is None:
            self._初始化步骤索引(时间步)
        self.timesteps = self.原始时间步
        输出 = super().step(模型输出, 时间步, 样本, 生成器, 返回字典)
        self.timesteps = self.偏移后时间步
        return 输出

随后调用扩散管道：

import torch
from diffusers import DiffusionPipeline, UNet2DConditionModel
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
# 加载模型
基础模型ID = "stabilityai/stable-diffusion-xl-base-1.0"
仓库 = "ChenDY/NitroFusion"
# NitroSD-写实版
检查点 = "nitrosd-realism_unet.safetensors"
unet = UNet2DConditionModel.from_config(基础模型ID, subfolder="unet").to("cuda", torch.float16)
unet.load_state_dict(load_file(hf_hub_download(仓库, 检查点), device="cuda"))
调度器 = 时间步偏移LCMScheduler.from_pretrained(基础模型ID, subfolder="scheduler", 偏移时间步=250)
调度器.config.original_inference_steps = 4
# # NitroSD-鲜艳版
# 检查点 = "nitrosd-vibrant_unet.safetensors"
# unet = UNet2DConditionModel.from_config(基础模型ID, subfolder="unet").to("cuda", torch.float16)
# unet.load_state_dict(load_file(hf_hub_download(仓库, 检查点), device="cuda"))
# 调度器 = 时间步偏移LCMScheduler.from_pretrained(基础模型ID, subfolder="scheduler", 偏移时间步=500)
# 调度器.config.original_inference_steps = 4
管道 = DiffusionPipeline.from_pretrained(
    基础模型ID,
    unet=unet,
    scheduler=调度器,
    torch_dtype=torch.float16,
    variant="fp16",
).to("cuda")
提示词 = "一只猫的照片"
图像 = 管道(
    prompt=提示词,
    num_inference_steps=1,  # 写实版与鲜艳版均支持1-4步推理
    guidance_scale=0,
).images[0]

ComfyUI使用说明

1. 下载nitrosd-realism_comfyui.safetensors和nitrosd-vibrant_comfyui.safetensors至ComfyUI/models/checkpoints目录
2. 克隆ComfyUI-TimestepShiftModel仓库到ComfyUI/custom_nodes
3. 加载工作流配置即可使用

许可协议

NitroSD-写实版遵循其基础模型DMD2的cc-by-nc-4.0协议。

NitroSD-鲜艳版采用openrail++协议。