许可协议：apache-2.0
任务类型：文本生成视频

Latte：用于视频生成的潜在扩散Transformer

本仓库包含我们研究论文中基于Transformer的潜在扩散模型（Latte）的文本生成视频预训练权重。更多可视化效果请访问项目主页。
如需获取FaceForensics、SkyTimelapse、UCF101和Taichi-HD数据集的预训练权重，请参见此处。

最新动态

• (🔥 新) 2024年5月23日。💥 Latte-1文本生成视频模型发布！预训练模型下载链接。Latte-1同时支持文本生成图像功能，请运行bash sample/t2i.sh脚本。

• (🔥 新) 2024年3月20日。💥 新版LatteT2V模型即将发布，敬请期待！

• (🔥 新) 2024年2月24日。💥 非常感谢研究者与开发者对我们工作的喜爱。我们将持续更新LatteT2V模型，希望为社区发展贡献力量。现已创建Latte讨论频道，欢迎开发者参与贡献。

• (🔥 新) 2024年1月9日。💥 发布基于PixArt-α初始化的升级版LatteT2V模型，权重文件参见此处。

• (🔥 新) 2023年10月31日。💥 开源训练与推理代码。所有权重文件（含FaceForensics、SkyTimelapse、UCF101和Taichi-HD）已发布于此。同时提供LatteT2V推理代码。

联系我们

王耀辉：wangyaohui@pjlab.org.cn
马昕：xin.ma1@monash.edu

引用

若本研究对您有帮助，请考虑引用：

@article{ma2024latte,
  title={Latte: 用于视频生成的潜在扩散Transformer},
  author={马昕 and 王耀辉 and 贾耕云 and 陈昕远 and 刘子威 and 李远芳 and 陈存健 and 乔宇},
  journal={arXiv预印本 arXiv:2401.03048},
  year={2024}
}

论文链接：https://huggingface.co/papers/2401.03048

致谢

Latte的研发深受以下杰出工作的启发：DiT与PixArt-α，我们感谢所有开源贡献者。