library_name: diffusers pipeline_tag: text-to-video

AnimateDiff是一种能够利用现有Stable Diffusion文生图模型创建视频的技术。

该方法通过向冻结的文生图模型中插入运动模块层，并在视频片段上进行训练以提取运动先验知识来实现。这些运动模块被应用于Stable Diffusion UNet中的ResNet和注意力块之后，其作用是使图像帧之间产生连贯的运动。为了支持这些模块，我们引入了MotionAdapter和UNetMotionModel概念，它们为现有Stable Diffusion模型使用运动模块提供了便捷途径。

杰作，最佳品质，日落。

以下示例展示了如何将运动模块应用于现有的Stable Diffusion文生图模型。

import torch
from diffusers import MotionAdapter, AnimateDiffPipeline, EulerAncestralDiscreteScheduler
from diffusers.utils import export_to_gif

# 加载运动适配器
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-3")
# 加载基于SD 1.5的微调模型
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter)
scheduler = EulerAncestralDiscreteScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    beta_schedule="linear",
)
pipe.scheduler = scheduler

# 启用内存节省模式
pipe.enable_vae_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt=(
        "杰作，最佳品质，高度细节，超精细，日落，"
        "橙色天空，温暖光线，渔船，海浪海鸥，"
        "波光粼粼的水面，码头，剪影，宁静氛围，黄昏，晚霞，"
        "黄金时刻，海岸景观，海滨风光"
    ),
    negative_prompt="低质量，劣质",
    num_frames=16,
    guidance_scale=7.5,
    num_inference_steps=25,
    generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif")