标签:

• ltx-video
• 视频超分辨率
• diffusers
• 视频转视频 置顶: false 语言:
• 英文 许可证: 其他 管道标签: 文本转视频 库名称: diffusers

LTX视频空间超分辨率模型0.9.7版说明卡

本说明卡重点介绍LTX视频空间超分辨率模型0.9.7版，这是一个设计用于与LTX视频生成模型协同工作的组件模型。 主要LTX视频代码库可在此处获取。

LTX视频是首个基于DiT架构的实时高质量视频生成模型，能以1216×704分辨率、30帧/秒的速度生成比实时播放更快的视频。该模型通过大规模多样化视频数据集训练，可生成具有真实丰富内容的高清视频。 我们提供适用于文本转视频及图像+文本转视频两种使用场景的模型。

LTX视频空间超分辨率模型是基于扩散模型的视频空间分辨率增强工具，专门针对LTX视频模型生成的潜在视频表示进行超分辨率训练。

（此处省略了16个示例动图及其描述的表格）

该超分辨率模型兼容并可提升以下模型生成的视频质量：

• Lightricks/LTX-Video-0.9.7-dev
• Lightricks/LTX-Video-0.9.7-distilled

模型详情

• 开发团队: Lightricks
• 模型类型: 潜在扩散视频空间超分辨率
• 输入: LTX视频模型生成的潜在视频帧
• 输出: 高分辨率潜在视频帧
• 兼容性: 可与Lightricks/LTX-Video-0.9.7-dev和Lightricks/LTX-Video-0.9.7-distilled配合使用

使用方式

直接使用

您可在以下许可证允许范围内使用该模型： （此处列出了13个不同版本模型的许可证链接）

通用建议：

• 模型适用于能被32整除的分辨率，以及能被8加1整除的帧数（如257帧）。若不符合要求，输入将用-1填充后裁剪至目标规格。
• 模型在720×1280以下分辨率及257帧以下效果最佳。
• 提示词应使用英文，描述越详尽越好。优秀提示示例：碧蓝海浪拍打着岸边嶙峋的黑色礁石，激起白色浪花飞溅空中。场景以明亮的蓝色海水与近乎黑色的礁石形成鲜明对比为主。海水呈现清澈的蓝绿色，浪尖点缀白色泡沫。礁石黝黑参差，表面覆盖绿色苔藓斑块。岸边植被茂盛，树木灌木丛生。远处是森林覆盖的连绵山丘。天空多云，光线朦胧。

在线演示

可通过以下链接立即体验：

• LTX-Studio图像转视频
• Fal.ai文本转视频
• Fal.ai图像转视频
• Replicate文本转视频与图像转视频

ComfyUI集成

使用ComfyUI运行模型，请遵循专属仓库的指引。

本地运行

环境配置

要求Python 3.10.5、CUDA 12.2及PyTorch ≥ 2.1.2：

git clone https://github.com/Lightricks/LTX-Video.git
cd LTX-Video
python -m venv env
source env/bin/activate
python -m pip install -e .\[inference-script\]

推理示例

参考inference.py中的代码实现。

Diffusers集成

LTX视频与Diffusers库兼容，支持文本转视频和图像转视频生成。

安装依赖：

pip install -U git+https://github.com/huggingface/diffusers

空间超分辨率模型通过LTXLatentUpsamplePipeline调用，是多阶段生成流程的组成部分。以下是结合基础LTX视频模型的使用示例：

（此处为完整的Python代码示例，展示从基础模型生成到超分辨率的完整流程）

更多Diffusers使用细节请参阅官方文档。Diffusers还支持通过from_single_file()直接加载原始LTX检查点，详见相关章节。

局限性

• 本模型无法提供事实性信息
• 作为统计模型可能放大现有社会偏见
• 生成视频可能与提示词存在偏差
• 提示词风格显著影响生成效果