library_name: diffusers pipeline_tag: text-to-video

AnimateDiff是一种能够利用现有Stable Diffusion文生图模型创建视频的方法。

该方法通过向冻结的文生图模型中插入运动模块层，并在视频片段上进行训练以提取运动先验知识来实现这一功能。这些运动模块被应用于Stable Diffusion UNet中的ResNet和注意力块之后，其目的是在图像帧之间引入连贯的运动。为了支持这些模块，我们引入了MotionAdapter和UNetMotionModel的概念，它们为现有Stable Diffusion模型使用这些运动模块提供了便捷途径。

杰作，最佳品质，日落。

以下示例展示了如何利用现有Stable Diffusion文生图模型使用运动模块。

import torch
from diffusers import MotionAdapter, AnimateDiffPipeline, DDIMScheduler
from diffusers.utils import export_to_gif

# 加载运动适配器
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-4")
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter)
scheduler = DDIMScheduler.from_pretrained(
    model_id, subfolder="scheduler", clip_sample=False, timestep_spacing="linspace", steps_offset=1
)
pipe.scheduler = scheduler

# 启用内存节省
pipe.enable_vae_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt=(
        "杰作，最佳品质，高度细节，超细节，日落，"
        "橙色天空，温暖光线，渔船，海浪海鸥，"
        "涟漪水面，码头，剪影，宁静氛围，黄昏，晚霞，"
        "黄金时刻，海岸景观，海滨风景"
    ),
    negative_prompt="低质量，更差质量",
    num_frames=16,
    guidance_scale=7.5,
    num_inference_steps=25,
    generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif")

<提示>

AnimateDiff在微调后的Stable Diffusion模型上表现更佳。如果计划使用可能裁剪样本的调度器，请确保在调度器中设置clip_sample=False以禁用此功能，因为这可能对生成的样本产生不利影响。

</提示>