---

license: apache-2.0 library_name: diffusers pipeline_tag: text-to-video

TransPixar：透明化文本到视频生成技术的突破

[论文](https://arxiv.org/abs/2501.03006) [项目主页](https://wileewang.github.io/TransPixar) [HuggingFace演示](https://huggingface.co/spaces/wileewang/TransPixar)

本仓库包含论文TransPixar：透明化文本到视频生成技术的突破的模型实现。

代码仓库：https://github.com/wileewang/TransPixar

王珞舟*, 李艺俊**, 陈志飞, 王睿轩, 张志飞, 张赫, 林哲, 陈颖聪†

香港科技大学（广州），香港科技大学，Adobe研究院。

* 实习项目。 ** 项目负责人。 † 通讯作者。

文本到视频生成模型已取得重大进展，在娱乐、广告和教育等领域展现出多样化应用前景。然而，由于数据集有限和现有模型适配困难，生成包含透明度通道（alpha通道）的RGBA视频仍具挑战性。alpha通道在视觉特效（VFX）中至关重要，可实现烟雾、反射等透明元素与场景的无缝融合。 我们提出TransPixar方法，通过扩展预训练视频模型实现RGBA生成，同时保留原始RGB生成能力。该方法采用扩散变换器（DiT）架构，引入alpha专用令牌，并基于LoRA微调技术实现RGB与alpha通道的高一致性联合生成。通过优化注意力机制，TransPixar在有限训练数据下仍能保持原始RGB模型优势，实现通道间强对齐。 我们的方法能有效生成多样化且一致的RGBA视频，为视觉特效和交互式内容创作开辟新可能。

📰 最新动态

• [2024.01.07] 我们已发布TransPixar+CogVideoX的项目主页、arXiv论文、推理代码和HuggingFace演示。

🚧 待办事项

• [x] 发布代码、论文和演示
• [x] 发布联合生成（RGB+Alpha）的模型检查点

目录

• 安装指南
• TransPixar LoRA中心
• 训练
• 推理
• 致谢
• 引用

安装指南

conda create -n TransPixar python=3.10
conda activate TransPixar
pip install -r requirements.txt

TransPixar LoRA中心

我们的管线支持多种视频任务，包括文本到RGBA视频、图像到RGBA视频等。

提供以下预训练LoRA权重：

任务	基础模型	帧数	LoRA权重
文生视频+RGBA	genmo/mochi-1-preview	37	即将发布
文生视频+RGBA	THUDM/CogVideoX-5B	49	下载
图生视频+RGBA	THUDM/CogVideoX-5b-I2V	49	即将发布

训练 - RGB与Alpha联合生成

我们开源了Mochi模型在RGBA联合生成上的训练代码，详见Mochi说明文档。

推理 - Gradio演示

除HuggingFace在线演示外，用户可通过以下命令基于CogVideoX-5B启动本地推理演示：

python app.py

推理 - 命令行界面

生成RGBA视频时，进入对应视频模型目录执行：

python cli.py \
    --lora_path /路径/到/lora文件 \
    --prompt "..." \

致谢

• finetrainers：参考了其Mochi训练和推理实现
• CogVideoX：参考了其CogVideoX训练和推理实现

感谢这些杰出工作对开源社区的慷慨贡献。

引用

@misc{wang2025transpixar,
      title={TransPixar：透明化文本到视频生成技术的突破}, 
      author={王珞舟 and 李艺俊 and 陈志飞 and 王睿轩 and 张志飞 and 张赫 and 林哲 and 陈颖聪},
      year={2025},
      eprint={2501.03006},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2501.03006}, 
}