许可协议：apache-2.0
标签：

• pytorch
• diffusers
• 无条件图像生成

基于随机微分方程（SDE）的分数生成建模

论文：基于随机微分方程的分数生成建模

作者：Yang Song, Jascha Sohl-Dickstein, Diederik P. Kingma, Abhishek Kumar, Stefano Ermon, Ben Poole

摘要：

从数据生成噪声很容易，但从噪声生成数据则是生成建模的核心。我们提出了一种随机微分方程（SDE），通过逐步注入噪声将复杂的数据分布平滑地转化为已知的先验分布，并提出了相应的反向时间SDE，通过逐步去除噪声将先验分布重新转化为数据分布。关键在于，反向时间SDE仅依赖于扰动数据分布的时间依赖梯度场（即分数）。借助分数生成建模的最新进展，我们可以用神经网络准确估计这些分数，并使用数值SDE求解器生成样本。我们展示了这一框架涵盖了分数生成建模和扩散概率建模的先前方法，从而实现了新的采样流程和建模能力。特别是，我们引入了一个预测-校正框架来修正离散化反向时间SDE演化中的误差。我们还推导了一个等效的神经ODE，可以从与SDE相同的分布中采样，同时支持精确似然计算并提高采样效率。此外，我们提供了一种利用分数模型解决逆问题的新方法，并通过类条件生成、图像修复和着色实验进行了验证。结合多项架构改进，我们在CIFAR-10上实现了无条件图像生成的创纪录性能，Inception得分为9.89，FID为2.20，似然值为2.99比特/维度，并首次展示了基于分数的生成模型生成1024×1024高保真图像的能力。

推理

SDE模型可以使用连续噪声调度器，例如：

• scheduling_sde_ve

进行推理。

参考以下代码：

# !pip install diffusers  
from diffusers import DiffusionPipeline  

model_id = "google/ncsnpp-ffhq-256"  

# 加载模型和调度器  
sde_ve = DiffusionPipeline.from_pretrained(model_id)  

# 在推理中运行流程（采样随机噪声并去噪）  
image = sde_ve()["sample"]  

# 保存图像  
image[0].save("sde_ve_generated_image.png")  

更多关于如何编写自定义去噪循环的细节，请查看pipeline_score_sde_ve。
关于如何使用diffusers进行推理的更多信息，请参阅官方推理示例。

示例