许可协议：creativeml-openrail-m
标签：

• 文本生成视频
• 稳定扩散
• 动态扩散
  库名称：diffusers
  推理：false

闪电版AnimateDiff

AnimateDiff-Lightning是一款极速文本生成视频模型，其生成速度比原版AnimateDiff快十倍以上。详情请参阅我们的研究论文：AnimateDiff-Lightning：跨模型扩散蒸馏。本模型作为研究成果公开发布。

我们的模型基于AnimateDiff SD1.5 v2蒸馏得到。本仓库包含1步、2步、4步和8步蒸馏模型检查点。其中2步、4步和8步模型生成质量优异，1步模型仅供研究使用。

在线演示

通过我们的文本生成视频演示体验AnimateDiff-Lightning。

推荐配置

AnimateDiff-Lightning与风格化基础模型搭配效果最佳。推荐使用以下基础模型：

写实风格：

• epiCRealism
• Realistic Vision
• DreamShaper
• AbsoluteReality
• MajicMix Realistic

动漫卡通风格：

• ToonYou
• IMP
• Mistoon Anime
• DynaVision
• RCNZ Cartoon 3d
• MajicMix Reverie

建议尝试不同设置：在2步模型上使用3次推理步骤效果出众。某些基础模型配合CFG效果更佳。推荐使用动态LoRAs增强动作表现，强度建议0.7~0.8以避免水印。

Diffusers使用指南

import torch
from diffusers import AnimateDiffPipeline, MotionAdapter, EulerDiscreteScheduler
from diffusers.utils import export_to_gif
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file

device = "cuda"
dtype = torch.float16

step = 4  # 可选：[1,2,4,8]
repo = "ByteDance/AnimateDiff-Lightning"
ckpt = f"animatediff_lightning_{step}step_diffusers.safetensors"
base = "emilianJR/epiCRealism"  # 选择你喜欢的基础模型

adapter = MotionAdapter().to(device, dtype)
adapter.load_state_dict(load_file(hf_hub_download(repo ,ckpt), device=device))
pipe = AnimateDiffPipeline.from_pretrained(base, motion_adapter=adapter, torch_dtype=dtype).to(device)
pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config, timestep_spacing="trailing", beta_schedule="linear")

output = pipe(prompt="微笑的女孩", guidance_scale=1.0, num_inference_steps=step)
export_to_gif(output.frames[0], "animation.gif")

ComfyUI使用指南

1. 下载工作流配置文件并导入ComfyUI
2. 安装必要节点（可通过ComfyUI-Manager或手动安装）：
   • AnimateDiff进化版节点
   • 视频辅助套件
3. 将基础模型检查点放入/models/checkpoints/
4. 将闪电版检查点animatediff_lightning_Nstep_comfyui.safetensors放入/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/

视频转视频生成

本模型特别适合视频风格转换，我们提供了基于ControlNet的最简工作流：

1. 下载OpenPose工作流配置
2. 安装额外节点：
   • 高级ControlNet节点
   • ControlNet辅助工具
3. 下载OpenPose控制网检查点至/models/controlnet/
4. 上传视频并运行流程

注意事项：

• 建议使用576x1024分辨率、8秒时长、30fps的短视频
• 设置帧率与输入视频匹配以保持音画同步
• DWPose首次运行会自动下载检查点
• 界面可能卡顿，但后台仍在处理，请查看日志和输出目录

引用我们的工作

@misc{lin2024animatedifflightning,
      title={AnimateDiff-Lightning: 跨模型扩散蒸馏}, 
      author={林善川 and 杨晓},
      year={2024},
      eprint={2403.12706},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}