许可证：apache-2.0
语言：

• 英文
  任务标签：文本生成视频
  标签：
• 视频生成
  库名称：diffusers
  推理参数：
  推理步数：10

文本转动态

文本转动态：开放且先进的大规模视频生成模型

本仓库展示了文本转动态，一套全面开放的视频基础模型套件，突破了视频生成的边界。文本转动态具有以下核心优势：

• 👍 顶尖性能：在多项基准测试中，文本转动态持续超越现有开源模型和商业解决方案。
• 👍 支持消费级显卡：T2V-1.3B模型仅需8.19GB显存，适配几乎所有消费级显卡。在RTX 4090上生成5秒480P视频仅需约4分钟（未使用量化等优化技术），性能媲美部分闭源模型。
• 👍 多任务支持：擅长文本生成视频、图像生成视频、视频编辑、文本生成图像及视频生成音频，推动视频生成领域发展。
• 👍 视觉文本生成：首个支持中英双语文本生成的视频模型，强大的文本生成能力提升了实际应用价值。
• 👍 高效视频VAE：文本转动态-VAE在编解码任意长度1080P视频时保持时序信息，效率与性能俱佳，是视频与图像生成的理想基础。

本仓库重点推出T2V-14B模型，其在开源与闭源模型中均树立了新的性能标杆，擅长生成高动态的高质量画面，是唯一支持中英双语文本且兼容480P/720P双分辨率的视频模型。

🔥 最新动态

• 2025年2月22日：👋 正式发布文本转动态的推理代码与权重。

📑 计划清单

• 文本转动态文本生成视频
  • [x] 14B模型多GPU推理代码
  • [x] 14B模型检查点
  • [x] Gradio演示
  • [ ] Diffusers集成
  • [ ] ComfyUI集成
• 文本转动态图像生成视频
  • [x] 14B模型多GPU推理代码
  • [x] 14B模型检查点
  • [x] Gradio演示
  • [ ] Diffusers集成
  • [ ] ComfyUI集成

快速开始

安装

克隆仓库：

git clone https://huggingface.co/sbapan41/Text2Motion  
cd Text2Motion  

安装依赖：

# 确保torch>=2.4.0  
pip install -r requirements.txt  

模型下载

通过🤗 huggingface-cli下载：

pip install "huggingface_hub[cli]"  
huggingface-cli download sbapan41/Text2Motion --local-dir ./Text2Motion  

运行文本生成视频

本仓库支持两种文本生成视频模型（14B）和两种分辨率（480P与720P），参数配置如下：

(1) 基础推理（无提示扩展）

为简化流程，首推跳过提示扩展的基础推理版本。

• 单GPU推理

python generate.py --task 14B --size 1280*720 --ckpt_dir ./Text2Motion --prompt "聚光灯下，两只拟人化的猫咪身着舒适拳击装备，戴着鲜艳拳套激烈搏斗。"  

若遇显存不足，可通过--offload_model True和--t5_cpu选项降低显存占用。例如在RTX 4090上运行：

• 多GPU推理（FSDP + xDiT USP）

pip install "xfuser>=0.4.1"  
torchrun --nproc_per_node=8 generate.py --task 14B --size 1280*720 --ckpt_dir ./Text2Motion --dit_fsdp --t5_fsdp --ulysses_size 8 --prompt "聚光灯下，两只拟人化的猫咪身着舒适拳击装备，戴着鲜艳拳套激烈搏斗。"