许可证:Apache-2.0
支持语言:
任务类型:文本生成视频
库名称:diffusers
标签:
万趣
😊 欢迎使用!


English | 简体中文
目录
模型地址
V1.0版本:
名称 |
存储大小 |
Hugging Face |
Model Scope |
描述 |
Wan2.1-Fun-1.3B-InP |
19.0 GB |
🤗链接 |
😄链接 |
Wan2.1-Fun-1.3B文本生成视频权重,支持多分辨率训练及首尾帧预测。 |
Wan2.1-Fun-14B-InP |
47.0 GB |
🤗链接 |
😄链接 |
Wan2.1-Fun-14B文本生成视频权重,支持多分辨率训练及首尾帧预测。 |
Wan2.1-Fun-1.3B-Control |
19.0 GB |
🤗链接 |
😄链接 |
Wan2.1-Fun-1.3B视频控制权重,支持Canny、Depth、Pose、MLSD等多种控制条件及轨迹控制。支持512/768/1024多分辨率视频生成,以81帧(16fps)训练,兼容多语言输入。 |
Wan2.1-Fun-14B-Control |
47.0 GB |
🤗链接 |
😄链接 |
Wan2.1-Fun-14B视频控制权重,支持多种控制条件及轨迹控制,多分辨率生成能力与多语言支持同上。 |
视频作品
Wan2.1-Fun-14B-InP 与 Wan2.1-Fun-1.3B-InP
(视频展示表格,内容与原文一致)
Wan2.1-Fun-14B-Control 与 Wan2.1-Fun-1.3B-Control
(视频展示表格,内容与原文一致)
快速启动
1. 云端使用:阿里云DSW/Docker
a. 通过阿里云DSW
DSW提供免费GPU时长,申请后3个月内有效。

b. 通过ComfyUI
界面操作指南详见ComfyUI说明文档。
c. 通过Docker
确保已安装显卡驱动与CUDA后执行:
docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun
docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun
git clone https://github.com/aigc-apps/CogVideoX-Fun.git
cd CogVideoX-Fun
2. 本地安装
a. 环境要求
已验证支持:
- Windows:Win10 + Python 3.10/3.11 + CUDA 11.8/12.1 + CUDNN 8+ + NVIDIA 3060(12G)/3090(24G)
- Linux:Ubuntu 20.04/CentOS + Python 3.10/3.11 + CUDA 11.8/12.1 + CUDNN 8+ + NVIDIA V100(16G)/A10(24G)/A100(40G/80G)
需约60GB磁盘空间。
b. 权重放置
按以下结构存放模型:
📦 models/
├── 📂 Diffusion_Transformer/ # 存放主模型
│ ├── Wan2.1-Fun-14B-InP/
│ └── ...其他模型
└── 📂 Personalized_Model/ # 存放自定义模型/LoRA权重
使用方法
1. 视频生成
a. 显存优化方案
提供三种模式应对不同显存需求:
model_cpu_offload
:基础显存节省
model_cpu_offload_and_qfloat8
:量化模型进一步节省(性能略有下降)
sequential_cpu_offload
:逐层卸载(速度最慢,显存占用最低)
b. 通过ComfyUI
详见ComfyUI说明文档。
c. 运行Python脚本
- 文本生成视频:修改
predict_t2v.py
中的提示词参数后运行,结果保存至samples/cogvideox-fun-videos
。
- 图像生成视频:在
predict_i2v.py
中设置首尾帧图像路径及其他参数。
- 视频生成视频:需提供参考视频(如示例视频),通过
predict_v2v.py
生成。
- 控制条件生成:使用
predict_v2v_control.py
,输入处理后的控制视频(如Canny/Pose边缘图)。
d. 通过Web界面
运行app.py
启动Gradio交互界面,支持所有生成模式,结果保存至sample
文件夹。
参考文献
- CogVideo:https://github.com/THUDM/CogVideo/
- EasyAnimate:https://github.com/aigc-apps/EasyAnimate
- Wan2.1:https://github.com/Wan-Video/Wan2.1/
许可证
采用 Apache License 2.0。