许可证：apache-2.0
支持语言：

• 英文
• 中文

功能标签：文本生成视频
库名称：diffusers
标签：

• 视频
• 视频生成

万趣

😊 欢迎使用！

English | 简体中文

目录

• 目录
• 模型地址
• 视频作品
• 快速启动
• 使用方法
• 参考文献
• 许可证

模型地址

V1.0版本：

视频展示

Wan2.1-Fun-14B-InP 与 Wan2.1-Fun-1.3B-InP

（视频展示表格内容保持不变，此处省略具体HTML代码）

Wan2.1-Fun-14B-Control 与 Wan2.1-Fun-1.3B-Control

（视频展示表格内容保持不变，此处省略具体HTML代码）

快速开始

1. 云端使用：阿里云DSW/Docker

a. 通过阿里云DSW

DSW提供免费GPU时长，申请后3个月内有效。

b. 通过ComfyUI

具体操作详见ComfyUI说明文档。

c. 通过Docker

确保已安装显卡驱动与CUDA后执行：

# 拉取镜像
docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun

# 运行容器
docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun

# 克隆代码
git clone https://github.com/aigc-apps/CogVideoX-Fun.git

# 进入目录
cd CogVideoX-Fun

# 下载模型权重
mkdir models/Diffusion_Transformer
mkdir models/Personalized_Model

2. 本地安装：环境配置

a. 环境要求

已验证支持：

• Windows：Win10 + Python 3.10/3.11 + CUDA 11.8/12.1 + CUDNN 8+
• Linux：Ubuntu 20.04/CentOS + Python 3.10/3.11 + CUDA 11.8/12.1
• GPU：Nvidia 3060(12G)/3090(24G)/V100(16G)/A10(24G)/A100(40G/80G)

需约60GB可用磁盘空间。

b. 权重放置

建议按以下结构存放模型：

📦 models/
├── 📂 Diffusion_Transformer/
│   ├── 📂 CogVideoX-Fun-V1.1-2b-InP/
│   ├── 📂 CogVideoX-Fun-V1.1-5b-InP/
│   ├── 📂 Wan2.1-Fun-14B-InP
│   └── 📂 Wan2.1-Fun-1.3B-InP/
└── 📂 Personalized_Model/
    └── （自定义训练模型/LoRA模型）

使用方法

1. 视频生成

a. 显存优化方案

提供三种模式应对不同显存需求：

• model_cpu_offload：使用后模型卸载至CPU
• model_cpu_offload_and_qfloat8：模型卸载+float8量化（显存需求最小）
• sequential_cpu_offload：逐层卸载（速度最慢）

b. 通过ComfyUI

详见ComfyUI说明文档。

c. 运行Python脚本

• 文本生成视频：
  修改examples/cogvideox_fun/predict_t2v.py中的提示词参数后运行，结果保存至samples/cogvideox-fun-videos。
• 图像生成视频：
  在examples/cogvideox_fun/predict_i2v.py中设置首尾帧图像路径后运行。
• 视频风格迁移：
  使用examples/cogvideox_fun/predict_v2v.py并指定参考视频路径。
• 控制条件生成：
  通过examples/cogvideox_fun/predict_v2v_control.py加载Canny/Pose等控制视频。

d. 通过Web界面

运行examples/cogvideox_fun/app.py启动交互式界面，支持多种生成模式。

参考文献

• CogVideo：https://github.com/THUDM/CogVideo/
• EasyAnimate：https://github.com/aigc-apps/EasyAnimate
• Wan2.1：https://github.com/Wan-Video/Wan2.1/

许可协议

本项目采用 Apache License 2.0。