许可证：Apache-2.0
语言：

• 英文
• 中文

标签：

• 视频生成
• 视频到视频编辑
• 参考到视频

管道标签：图像到视频

Wan2.1

💜 Wan    ｜    🖥️ GitHub    |   🤗 Hugging Face   |   🤖 ModelScope   |    📑 技术报告    |    📑 博客    |   💬 微信群   |    📖 Discord  

Wan：开放且先进的大规模视频生成模型

在本仓库中，我们推出了Wan2.1，这是一套全面且开放的视频基础模型，旨在突破视频生成的边界。Wan2.1具备以下核心特点：

• 👍 顶尖性能：Wan2.1在多项基准测试中持续超越现有开源模型及商业解决方案。
• 👍 支持消费级GPU：T2V-1.3B模型仅需8.19GB显存，兼容几乎所有消费级GPU。在RTX 4090上生成一段5秒480P视频约需4分钟（未使用量化等优化技术），性能媲美部分闭源模型。
• 👍 多任务支持：Wan2.1擅长文本到视频、图像到视频、视频编辑、文本到图像及视频到音频任务，推动视频生成领域发展。
• 👍 视觉文本生成：Wan2.1是首个支持中英双语文本生成的视频模型，具备强大的文本生成能力，增强实际应用价值。
• 👍 高效视频VAE：Wan-VAE在编码解码任意长度的1080P视频时保持时序信息，成为视频与图像生成的理想基础。

视频演示

🔥 最新动态！

• 2025年5月14日：👋 发布Wan2.1 VACE——全能视频创作与编辑模型，同步开放推理代码、权重及技术报告！
• 2025年4月17日：👋 推出Wan2.1 FLF2V模型，提供推理代码与权重！
• 2025年3月21日：👋 发布Wan2.1 技术报告，欢迎讨论与反馈！
• 2025年3月3日：👋 Wan2.1的T2V与I2V已集成至Diffusers（T2V | I2V），欢迎试用！
• 2025年2月27日：👋 Wan2.1已接入ComfyUI，尽情体验！
• 2025年2月25日：👋 开放Wan2.1推理代码与模型权重。

社区作品

若您的作品基于Wan2.1改进并希望更多人看到，请联系我们。

• Phantom基于Wan2.1-T2V-1.3B开发了单/多主体参考的统一视频生成框架，详见示例。
• UniAnimate-DiT基于Wan2.1-14B-I2V训练人体图像动画模型，开源推理与训练代码。
• CFG-Zero从CFG角度优化Wan2.1（覆盖T2V与I2V模型）。
• TeaCache现已支持Wan2.1加速，提速约2倍。
• DiffSynth-Studio为Wan2.1提供视频到视频、FP8量化、显存优化、LoRA训练等支持，详见示例。

📑 待办清单

• Wan2.1文本到视频
  • [x] 14B与1.3B模型的多GPU推理代码
  • [x] 14B与1.3B模型权重
  • [x] Gradio演示
  • [x] ComfyUI集成
  • [x] Diffusers集成
  • [ ] Diffusers + 多GPU推理
• Wan2.1图像到视频
  • [x] 14B模型的多GPU推理代码
  • [x] 14B模型权重
  • [x] Gradio演示
  • [x] ComfyUI集成
  • [x] Diffusers集成
  • [ ] Diffusers + 多GPU推理
• Wan2.1首尾帧到视频
  • [x] 14B模型的多GPU推理代码
  • [x] 14B模型权重
  • [x] Gradio演示
  • [ ] ComfyUI集成
  • [ ] Diffusers集成
  • [ ] Diffusers + 多GPU推理
• Wan2.1 VACE
  • [x] 14B与1.3B模型的多GPU推理代码
  • [x] 14B与1.3B模型权重
  • [x] Gradio演示
  • [x] ComfyUI集成
  • [ ] Diffusers集成
  • [ ] Diffusers + 多GPU推理

快速开始

安装

克隆仓库：

git clone https://github.com/Wan-Video/Wan2.1.git  
cd Wan2.1  

安装依赖：

# 确保torch >= 2.4.0  
pip install -r requirements.txt  

模型下载

💡提示：

• 1.3B模型可生成720P视频，但因该分辨率训练有限，效果稳定性不如480P，建议优先使用480P。
• 首尾帧到视频生成模型主要基于中文文本-视频对训练，建议使用中文提示词以获得更佳效果。

通过huggingface-cli下载模型：

pip install "huggingface_hub[cli]"  
huggingface-cli download Wan-AI/Wan2.1-T2V-14B --local-dir ./Wan2.1-T2V-14B  

通过modelscope-cli下载模型：

pip install modelscope  
modelscope download Wan-AI/Wan2.1-T2V-14B --local_dir ./Wan2.1-T2V-14B  

运行文本到视频生成

本仓库支持两种文本到视频模型（1.3B与14B）及两种分辨率（480P与720P），参数配置如下：

(1) 不使用提示词扩展

为简化实现，我们