library_name: diffusers pipeline_tag: text-to-video

AnimateDiff是一种能够利用现有Stable Diffusion文生图模型生成视频的技术。

该方法通过向冻结的文生图模型中插入运动模块层，并在视频片段上进行训练以提取运动先验知识。这些运动模块被嵌入到Stable Diffusion UNet的ResNet和Attention模块之后，其作用是使图像帧间产生连贯运动。为支持这些模块，我们引入了MotionAdapter和UNetMotionModel概念，这为现有Stable Diffusion模型使用运动模块提供了便捷途径。

杰作，最佳品质，日落。

以下示例展示了如何将运动模块应用于现有Stable Diffusion文生图模型：

import torch
from diffusers import MotionAdapter, AnimateDiffPipeline, DDIMScheduler
from diffusers.utils import export_to_gif

# 加载运动适配器
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5")
# 加载基于SD1.5的微调模型
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter)
scheduler = DDIMScheduler.from_pretrained(
    model_id, subfolder="scheduler", clip_sample=False, timestep_spacing="linspace", steps_offset=1
)
pipe.scheduler = scheduler

# 启用内存优化
pipe.enable_vae_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt=(
        "杰作，最佳品质，高细节，超精细，日落，"
        "橙色天空，温暖光线，渔船，海浪海鸥，"
        "波光粼粼的水面，码头，剪影，宁静氛围，黄昏，晚霞，"
        "黄金时刻，海岸景观，海滨风光"
    ),
    negative_prompt="低质量，劣质",
    num_frames=16,
    guidance_scale=7.5,
    num_inference_steps=25,
    generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif")

<提示>

AnimateDiff在微调后的Stable Diffusion模型上表现更佳。若使用可能裁剪样本的调度器，请确保通过设置scheduler中的clip_sample=False来禁用此功能，否则可能对生成样本产生负面影响。

</提示>