许可证：apache-2.0
语言：

• 英文
  任务标签：文本生成视频
  标签：
• 视频生成
  库名称：diffusers
  推理参数：
  推理步数：10

文本转动态

文本转动态：开放且先进的大规模视频生成模型

在本代码库中，我们推出了文本转动态，这是一套全面且开放的视频基础模型，旨在突破视频生成的边界。文本转动态具备以下核心特点：

• 👍 顶尖性能：文本转动态在多个基准测试中持续超越现有开源模型及商业解决方案。
• 👍 支持消费级显卡：T2V-1.3B模型仅需8.19GB显存，兼容几乎所有消费级显卡。在RTX 4090上（未使用量化等优化技术）约4分钟可生成一段5秒480P视频，性能甚至媲美部分闭源模型。
• 👍 多任务支持：文本转动态擅长文本生成视频、图像生成视频、视频编辑、文本生成图像及视频生成音频，推动视频生成领域发展。
• 👍 视觉文本生成：文本转动态是首个支持中英文文本生成的视频模型，其强大的文本生成能力显著提升了实际应用价值。
• 👍 高效视频VAE：文本转动态-VAE在编码和解码任意长度的1080P视频时，既能保持时间信息完整性，又展现出卓越的效率与性能，是视频与图像生成的理想基础。

本代码库重点展示T2V-14B模型，该模型在开源与闭源模型中均树立了新的性能标杆，特别擅长生成具有强烈动态效果的高质量画面。它也是目前唯一支持中英文字幕生成，并兼容480P与720P分辨率视频生成的视频模型。

🔥 最新动态

• 2025年2月22日：👋 我们已发布文本转动态的推理代码与权重。

📑 待办清单

• 文本转动态文本生成视频
  • [x] 14B模型多GPU推理代码
  • [x] 14B模型检查点
  • [x] Gradio演示
  • [ ] Diffusers集成
  • [ ] ComfyUI集成
• 文本转动态图像生成视频
  • [x] 14B模型多GPU推理代码
  • [x] 14B模型检查点
  • [x] Gradio演示
  • [ ] Diffusers集成
  • [ ] ComfyUI集成

快速开始

安装

克隆代码库：

git clone https://huggingface.co/sbapan41/Text2Motion  
cd Text2Motion  

安装依赖：

# 确保torch >= 2.4.0  
pip install -r requirements.txt  

模型下载

通过🤗 huggingface-cli下载模型：

pip install "huggingface_hub[cli]"  
huggingface-cli download sbapan41/Text2Motion --local-dir ./Text2Motion  

运行文本生成视频

本代码库支持两种文本生成视频模型（14B）及两种分辨率（480P与720P）。模型参数配置如下：

(1) 无提示扩展

为简化流程，我们首先提供跳过提示扩展步骤的基础推理版本。

• 单GPU推理

python generate.py --task 14B --size 1280*720 --ckpt_dir ./Text2Motion --prompt "两只拟人化猫咪身着舒适拳击装备，戴着亮色手套，在聚光灯舞台上激烈搏斗。"  

若遇显存不足（OOM），可使用--offload_model True与--t5_cpu选项降低显存占用。例如在RTX 4090上运行：

- 使用FSDP + xDiT USP的多GPU推理  

pip install "xfuser>=0.4.1"
torchrun --nproc_per_node=8 generate.py --task 14B --size 1280*720 --ckpt_dir ./Text2Motion --dit_fsdp --t5_fsdp --ulysses_size 8 --prompt "两只拟人化猫咪身着舒适拳击装备，戴着亮色手套，在聚光灯舞台上激烈搏斗。"

| 模型  | 维度  | 输入维度 | 输出维度 | 前馈维度 | 频率维度 | 头数  | 层数  |  
|-------|-------|----------|----------|-----------|-----------|--------|--------|  
| 14B   | 5120  | 16       | 16       | 13824     | 256       | 40     | 40     |