license: apache-2.0 language:

• en tags:
• cogvideox
• 视频生成
• thudm
• 文本生成视频 inference: false

CogVideoX-2B

📄 中文阅读 | 🤗 Huggingface Space | 🌐 Github | 📜 arxiv

📍 访问 清影 和 API平台 体验商用视频生成模型。

演示展示

模型介绍

CogVideoX是源自清影的视频生成模型的开源版本。下表展示了我们目前提供的视频生成模型列表及其基础信息。

数据说明

• 使用diffusers库测试时，启用了diffusers库提供的所有优化。此方案未在NVIDIA A100 / H100以外的设备上测试实际显存/内存使用情况。通常，此方案可适配所有NVIDIA Ampere架构及以上设备。若禁用优化，显存使用将显著增加，峰值显存约为表中显示的3倍。但速度将提升3-4倍。可选择性地禁用部分优化，包括：

pipe.enable_model_cpu_offload()
pipe.enable_sequential_cpu_offload()
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

• 进行多GPU推理时，需禁用enable_model_cpu_offload()优化。
• 使用INT8模型会降低推理速度。这是为了确保显存较低的GPU能正常推理，同时保持视频质量损失最小，但推理速度会显著下降。
• 2B模型以FP16精度训练，5B模型以BF16精度训练。推荐使用模型训练时的精度进行推理。
• PytorchAO和Optimum-quanto可用于量化文本编码器、Transformer和VAE模块，以降低CogVideoX的内存需求。这使得模型可在免费T4 Colab或显存较小的GPU上运行！值得注意的是，TorchAO量化完全兼容torch.compile，可显著提升推理速度。FP8精度必须在NVIDIA H100及以上设备上使用，需从源码安装torch、torchao、diffusers和accelerate Python包。推荐使用CUDA 12.4。
• 推理速度测试同样使用了上述显存优化方案。未启用显存优化时，推理速度提升约10%。仅diffusers版本模型支持量化。
• 模型仅支持英文输入；其他语言可通过大模型在优化阶段翻译为英文。

注意

• 使用SAT进行SAT版本模型的推理和微调。欢迎访问我们的GitHub获取更多信息。

快速开始 🤗

本模型支持使用huggingface diffusers库部署。可按以下步骤部署。

建议访问我们的GitHub查看相关提示词优化和转换，以获得更好的体验。

1. 安装所需依赖

# diffusers>=0.30.1
# transformers>=0.44.0
# accelerate>=0.33.0 (建议从源码安装)
# imageio-ffmpeg>=0.5.1
pip install --upgrade transformers accelerate diffusers imageio-ffmpeg 

2. 运行代码

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

prompt = "一只熊猫，穿着小红夹克和小帽子，坐在宁静竹林中的木凳上。熊猫毛茸茸的爪子拨弄着一把迷你原声吉他，奏出柔和的旋律。附近，几只其他熊猫好奇地围观，有的跟着节奏拍手。阳光透过高高的竹子洒下，为场景投下柔和的光芒。熊猫的表情专注而快乐，演奏时充满表现力。背景有一条流淌的小溪和翠绿的植被，增强了这场独特音乐表演的宁静与神奇氛围。"

pipe = CogVideoXPipeline.from_pretrained(
    "THUDM/CogVideoX-2b",
    torch_dtype=torch.float16
)

pipe.enable_model_cpu_offload()
pipe.enable_sequential_cpu_offload()
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()
video = pipe(
    prompt=prompt,
    num_videos_per_prompt=1,
    num_inference_steps=50,
    num_frames=49,
    guidance_scale=6,
    generator=torch.Generator(device="cuda").manual_seed(42),
).frames[0]

export_to_video(video, "output.mp4", fps=8)

量化推理

PytorchAO和Optimum-quanto可用于量化文本编码器、Transformer和VAE模块，以降低CogVideoX的内存需求。这使得模型可在免费T4 Colab或显存较小的GPU上运行！值得注意的是，TorchAO量化完全兼容torch.compile，可实现更快的推理速度。

# 开始前，需从GitHub源码安装PytorchAO和PyTorch Nightly。
# 源码和Nightly安装仅需持续至下一版本发布。

import torch
from diffusers import AutoencoderKLCogVideoX, CogVideoXTransformer3DModel, CogVideoXPipeline
from diffusers.utils import export_to_video
+ from transformers import T5EncoderModel
+ from torchao.quantization import quantize_, int8_weight_only, int8_dynamic_activation_int8_weight

+ quantization = int8_weight_only

+ text_encoder = T5EncoderModel.from_pretrained("THUDM/CogVideoX-5b", subfolder="text_encoder", torch_dtype=torch.bfloat16)
+ quantize_(text_encoder, quantization())

+ transformer = CogVideoXTransformer3DModel.from_pretrained("THUDM/CogVideoX-5b", subfolder="transformer", torch_dtype=torch.bfloat16)
+ quantize_(transformer, quantization())

+ vae = AutoencoderKLCogVideoX.from_pretrained("THUDM/CogVideoX-2b", subfolder="vae", torch_dtype=torch.bfloat16)
+ quantize_(vae, quantization())

# 创建管道并运行推理
pipe = CogVideoXPipeline.from_pretrained(
    "THUDM/CogVideoX-2b",
+    text_encoder=text_encoder,
+    transformer=transformer,
+    vae=vae,
    torch_dtype=torch.bfloat16,
)
pipe.enable_model_cpu_offload()
pipe.vae.enable_tiling()

prompt = "一只熊猫，穿着小红夹克和小帽子，坐在宁静竹林中的木凳上。熊猫毛茸茸的爪子拨弄着一把迷你原声吉他，奏出柔和的旋律。附近，几只其他熊猫好奇地围观，有的跟着节奏拍手。阳光透过高高的竹子洒下，为场景投下柔和的光芒。熊猫的表情专注而快乐，演奏时充满表现力。背景有一条流淌的小溪和翠绿的植被，增强了这场独特音乐表演的宁静与神奇氛围。"

video = pipe(
    prompt=prompt,
    num_videos_per_prompt=1,
    num_inference_steps=50,
    num_frames=49,
    guidance_scale=6,
    generator=torch.Generator(device="cuda").manual_seed(42),
).frames[0]

export_to_video(video, "output.mp4", fps=8)

此外，模型可序列化并以量化数据类型存储，以在使用PytorchAO时节省磁盘空间。示例和基准测试请访问以下链接：

• torchao
• quanto

探索模型

欢迎访问我们的github，您将找到：

1. 更详细的技术细节和代码解释。
2. 提示词的优化和转换。
3. SAT版本模型的推理和微调，甚至预发布。
4. 项目更新日志动态，更多互动机会。
5. CogVideoX工具链，助您更好地使用模型。
6. INT8模型推理代码支持。

模型许可

CogVideoX-2B模型（包括其对应的Transformers模块和VAE模块）根据Apache 2.0许可证发布。

CogVideoX-5B模型（Transformers模块）根据CogVideoX许可证发布。

引用

@article{yang2024cogvideox,
  title={CogVideoX: 基于专家Transformer的文本到视频扩散模型},
  author={杨卓毅、滕佳言、郑文迪、丁铭、黄诗雨、徐嘉政、杨远明、洪文怡、张晓涵、冯冠宇等},
  journal={arXiv预印本 arXiv:2408.06072},
  year={2024}
}