license: creativeml-openrail-m tags:

• 文本生成视频
• 稳定扩散
• 动态扩散 library_name: diffusers inference: false

AnimateDiff-Lightning

AnimateDiff-Lightning是一款超高速文本生成视频模型，其生成速度比原版AnimateDiff快十倍以上。更多技术细节请参阅我们的研究论文：AnimateDiff-Lightning: 跨模型扩散蒸馏。本模型作为研究成果的一部分公开发布。

我们的模型基于AnimateDiff SD1.5 v2蒸馏得到。本仓库包含1步、2步、4步和8步蒸馏模型检查点。其中2步、4步和8步模型生成质量优异，1步模型仅供研究用途。

在线演示

通过我们的演示空间体验文本生成视频功能。

使用建议

AnimateDiff-Lightning与风格化基础模型配合效果最佳，推荐使用以下基础模型：

写实风格：

• epiCRealism
• Realistic Vision
• DreamShaper
• AbsoluteReality
• MajicMix Realistic

动漫卡通风格：

• ToonYou
• IMP
• Mistoon Anime
• DynaVision
• RCNZ Cartoon 3d
• MajicMix Reverie

实验发现：在2步模型上使用3次推理步骤效果出色；部分基础模型配合CFG效果更佳；推荐使用强度0.7~0.8的动态LoRAs增强运动效果，同时避免水印。

Diffusers使用指南

import torch
from diffusers import AnimateDiffPipeline, MotionAdapter, EulerDiscreteScheduler
from diffusers.utils import export_to_gif
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file

device = "cuda"
dtype = torch.float16

step = 4  # 可选：[1,2,4,8]
repo = "ByteDance/AnimateDiff-Lightning"
ckpt = f"animatediff_lightning_{step}step_diffusers.safetensors"
base = "emilianJR/epiCRealism"  # 替换为您喜欢的基础模型

adapter = MotionAdapter().to(device, dtype)
adapter.load_state_dict(load_file(hf_hub_download(repo ,ckpt), device=device))
pipe = AnimateDiffPipeline.from_pretrained(base, motion_adapter=adapter, torch_dtype=dtype).to(device)
pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config, timestep_spacing="trailing", beta_schedule="linear")

output = pipe(prompt="微笑的女孩", guidance_scale=1.0, num_inference_steps=step)
export_to_gif(output.frames[0], "animation.gif")

ComfyUI使用指南

1. 下载工作流配置文件并导入ComfyUI
2. 安装必要节点（可通过ComfyUI-Manager自动安装）：
   • ComfyUI-AnimateDiff-Evolved
   • ComfyUI-VideoHelperSuite
3. 将基础模型检查点放入/models/checkpoints/
4. 下载animatediff_lightning_Nstep_comfyui.safetensors模型放入/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/

视频转视频生成

本模型特别适合视频风格转换，我们提供基于ControlNet的最简工作流：

1. 下载OpenPose工作流文件
2. 安装额外节点：
   • ComfyUI-Advanced-ControlNet
   • comfyui_controlnet_aux
3. 下载OpenPose控制网模型至/models/controlnet/
4. 上传视频并运行流程

注意事项：

• 建议使用576x1024分辨率、8秒时长、30fps的测试视频
• 设置匹配原始视频的帧率以保证音画同步
• DWPose首次运行会自动下载模型
• 界面可能卡顿，但后台仍在处理，请查看日志和输出目录

引用我们的工作

@misc{lin2024animatedifflightning,
      title={AnimateDiff-Lightning: 跨模型扩散蒸馏}, 
      author={林善川 and 杨晓},
      year={2024},
      eprint={2403.12706},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}