库名称：diffusers
流程标签：文本生成视频

AnimateDiff是一种方法，允许您利用现有的Stable Diffusion文本生成图像模型来创建视频。

该方法通过在冻结的文本生成图像模型中插入运动模块层，并在视频片段上进行训练以提取运动先验来实现这一目标。
这些运动模块被应用于Stable Diffusion UNet中的ResNet和注意力块之后，其目的是在图像帧之间引入连贯的运动。为了支持这些模块，我们引入了MotionAdapter和UNetMotionModel的概念，这些概念为现有Stable Diffusion模型使用运动模块提供了一种便捷的方式。

杰作，最佳质量，日落。

以下示例展示了如何利用现有Stable Diffusion文本生成图像模型使用运动模块。

import torch
from diffusers import MotionAdapter, AnimateDiffPipeline, DDIMScheduler
from diffusers.utils import export_to_gif

# 加载运动适配器
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2")
# 加载基于SD 1.5的微调模型
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter)
scheduler = DDIMScheduler.from_pretrained(
    model_id, subfolder="scheduler", clip_sample=False, timestep_spacing="linspace", steps_offset=1
)
pipe.scheduler = scheduler

# 启用内存节省
pipe.enable_vae_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt=(
        "杰作，最佳质量，高度细节化，超细节化，日落，"
        "橙色天空，温暖光线，渔船，海浪海鸥，"
        "涟漪水面，码头，剪影，宁静氛围，黄昏，晚霞，"
        "黄金时刻，海岸景观，海滨风景"
    ),
    negative_prompt="低质量，更差质量",
    num_frames=16,
    guidance_scale=7.5,
    num_inference_steps=25,
    generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif")

<提示>

AnimateDiff在使用微调的Stable Diffusion模型时效果更佳。如果您计划使用可以裁剪样本的调度器，请确保通过设置scheduler中的clip_sample=False来禁用它，因为这也会对生成的样本产生不利影响。

</提示>