🚀 caT文本转视频

caT文本转视频是一个条件增强的文本到视频生成模型。它采用了来自ModelScope文本到视频模型的预训练权重，并通过时间条件变换器进行增强，以延长生成的视频片段并实现片段间的平滑过渡。此外，该模型还支持提示插值，以便在视频片段扩展过程中实现场景切换。

🚀 快速开始

按照以下步骤安装并运行该模型，即可开始生成视频。

📦 安装指南

克隆仓库

git clone https://github.com/motexture/caT-text-to-video-2.3b/
cd caT-text-to-video-2.3b
python3 -m venv venv
source venv/bin/activate  # 在Windows上使用 `venv\Scripts\activate`
pip install -r requirements.txt
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
python run.py

在浏览器中访问提供的URL，与界面进行交互，即可开始生成视频。

示例展示

• 从“一个男人在骑自行车”到“一个男人在骑摩托车”
• 从“威尔·史密斯在吃汉堡”到“威尔·史密斯在吃冰淇淋”
• 从“一只狮子在环顾四周”到“一只狮子在奔跑”
• “达斯·维达在海上冲浪”
• 从“一个漂亮的粉色头发动漫女孩”到“动漫女孩在笑”

🔧 技术细节

该模型在两个RTX 6000 Ada GPU上进行了500万步的训练，使用了WebWid 10M数据集。训练时的批量大小为1，学习率为1e-6，分辨率为320x320。模型使用8帧进行条件设置，8帧作为噪声样本，步长为6。

📄 许可证

本项目采用Apache-2.0许可证。