license: other license_link: https://huggingface.co/THUDM/CogVideoX-5b/blob/main/LICENSE language:

• en tags:
• cogvideox
• video-generation
• thudm
• text-to-video inference: false

CogVideoX-5B

📄 中文阅读 | 🤗 Huggingface Space | 🌐 Github | 📜 arxiv

📍 访问 清影 和 API 平台 体验商业视频生成模型。

演示展示

模型介绍

CogVideoX 是源自 清影 的视频生成模型的开源版本。下表展示了我们目前提供的视频生成模型列表及其基础信息。

数据说明

• 使用 diffusers 库测试时，启用了 diffusers 库提供的所有优化。此方案仅在 NVIDIA A100 / H100 设备上测试了实际 VRAM/内存使用情况。通常，此方案可适配所有 NVIDIA Ampere 架构 及以上的设备。如果禁用优化，VRAM 使用量将显著增加，峰值 VRAM 使用量约为表中显示的 3 倍。但速度将提高 3-4 倍。您可以选择性地禁用部分优化，包括：

pipe.enable_model_cpu_offload()
pipe.enable_sequential_cpu_offload()
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

• 进行多 GPU 推理时，需要禁用 enable_model_cpu_offload() 优化。
• 使用 INT8 模型会降低推理速度。这是为了确保 VRAM 较低的 GPU 能够正常进行推理，同时保持最小的视频质量损失，尽管推理速度会显著下降。
• 2B 模型使用 FP16 精度训练，5B 模型使用 BF16 精度训练。我们建议使用模型训练时的精度进行推理。
• PytorchAO 和 Optimum-quanto 可用于量化文本编码器、Transformer 和 VAE 模块，以降低 CogVideoX 的内存需求。这使得模型可以在免费的 T4 Colab 或 VRAM 较小的 GPU 上运行！值得注意的是，TorchAO 量化与 torch.compile 完全兼容，可以显著提高推理速度。FP8 精度必须在 NVIDIA H100 或更高设备上使用，需要从源代码安装 torch、torchao、diffusers 和 accelerate Python 包。推荐使用 CUDA 12.4。
• 推理速度测试也使用了上述 VRAM 优化方案。未启用 VRAM 优化时，推理速度提高约 10%。仅 diffusers 版本的模型支持量化。
• 模型仅支持英文输入；其他语言可以通过大模型在优化时翻译成英文。

注意事项

• 使用 SAT 进行 SAT 版本模型的推理和微调。欢迎访问我们的 GitHub 了解更多信息。

快速开始 🤗

本模型支持使用 huggingface diffusers 库进行部署。您可以按照以下步骤进行部署。

我们建议您访问我们的 GitHub 并查看相关的提示优化和转换，以获得更好的体验。

1. 安装必要的依赖

# diffusers>=0.30.1
# transformers>=4.44.2
# accelerate>=0.33.0 (建议从源代码安装)
# imageio-ffmpeg>=0.5.1
pip install --upgrade transformers accelerate diffusers imageio-ffmpeg 

2. 运行代码

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

prompt = "一只穿着小红夹克和小帽子的熊猫，坐在宁静竹林中的木凳上。熊猫毛茸茸的爪子拨弄着一把迷你原声吉他，奏出柔和、旋律优美的曲调。附近，几只其他熊猫好奇地围观，有的还跟着节奏拍手。阳光透过高高的竹子洒下，为这一幕投下柔和的光芒。熊猫的表情丰富，演奏时显得专注而快乐。背景中有一条潺潺的小溪和翠绿的植被，为这场独特的音乐表演增添了宁静而神奇的氛围。"

pipe = CogVideoXPipeline.from_pretrained(
    "THUDM/CogVideoX-5b",
    torch_dtype=torch.bfloat16
)

pipe.enable_model_cpu_offload()
pipe.vae.enable_tiling()

video = pipe(
    prompt=prompt,
    num_videos_per_prompt=1,
    num_inference_steps=50,
    num_frames=49,
    guidance_scale=6,
    generator=torch.Generator(device="cuda").manual_seed(42),
).frames[0]

export_to_video(video, "output.mp4", fps=8)

量化推理

PytorchAO 和 Optimum-quanto 可用于量化文本编码器、Transformer 和 VAE 模块，以降低 CogVideoX 的内存需求。这使得模型可以在免费的 T4 Colab 或 VRAM 较小的 GPU 上运行！值得注意的是，TorchAO 量化与 torch.compile 完全兼容，可以显著提高推理速度。

# 开始前，需要从 GitHub 源代码安装 PytorchAO 和 PyTorch Nightly。
# 源代码和 nightly 安装仅在下一个版本发布前需要。

import torch
from diffusers import