标签:

• ltx-video
• 图像转视频 置顶: true 语言:
• 英语 许可证: 其他 管道标签: 文本转视频 库名称: diffusers

LTX视频模型卡

本模型卡重点介绍与LTX视频模型相关的模型，代码库可在此处获取。

LTX视频是首个基于DiT的视频生成模型，能够实时生成高质量视频。它以30帧/秒的速度生成1216×704分辨率的视频，速度比观看还快。该模型在多样化视频的大规模数据集上训练，可生成内容真实丰富的高分辨率视频。 我们提供了适用于文本转视频及图像+文本转视频两种场景的模型。

一位棕色长发、肤色白皙的女子对另一位金发女子微笑... 一位棕色长发、肤色白皙的女子对另一位金发女子微笑。棕发女子穿着黑色夹克，右脸颊有颗几乎不可见的小痣。镜头特写聚焦于棕发女子的面部。温暖自然的光线，可能来自落日，为场景蒙上柔和光晕。画面呈现真实生活片段。	夜晚城市街道上，一名女子从白色吉普车旁走开... 夜晚城市街道上，一名女子从停靠的白色吉普车旁走开，随后登上楼梯敲门。这名穿着深色夹克和牛仔裤的女子背对镜头，以稳定步伐离开左侧路边的车辆，双臂轻微摆动；街道灯光昏暗，湿漉漉的路面映着路灯的光晕；一名穿深色外套的男子与吉普车擦肩而过；镜头跟随女子背影，记录她走向绿色门廊建筑的全过程；她转身敲门时，镜头定格在门框处。场景为实拍素材。	金发盘起、身着黑色亮片礼服佩戴珍珠耳环的女子... 金发盘起、身着黑色亮片礼服佩戴珍珠耳环的女子低垂眼帘，面露哀伤。固定镜头聚焦面部，昏暗光线在脸上投下柔和阴影。场景疑似影视剧片段。	镜头掠过白雪覆盖的连绵山脉... 镜头掠过白雪覆盖的连绵山脉，展现壮观的雪峰与山谷全景。厚厚积雪覆盖山体，部分区域近乎纯白，另些区域呈灰白色调。锯齿状峰峦错落有致，深窄山谷两侧同样覆雪。前景树木枝叶稀疏，阴云密布的天空下，整个场景传递出宁静祥和的自然之美。
穿蓝色外套戴黑纱帽的浅肤色女子... 穿蓝色外套戴黑纱帽的浅肤色女子低头右顾后仰首发言；棕色发髻搭配浅棕眉毛，外套内衬白色领衬衫；固定特写镜头中，背景虚化处可见树木与复古着装人群；场景为实拍历史题材素材。	昏暗房间里男子使用复古电话交谈... 昏暗房间里男子使用黑色转盘电话交谈，挂断后神情黯然。右手持听筒，左手握盛琥珀色液体的岩石杯，棕色西装外套配白衬衫，左手无名指戴金戒。整齐短发与眼周皱纹在左侧暖光照射下格外明显，墙面投下阴影。场景疑似电影片段。	狱警开启牢门展现青年与女子对坐... 狱警开启牢门展现青年与女子对坐场景。穿深蓝制服佩徽章的警员用钥匙开门，棕色短发肤色浅淡；穿黑白条纹衫的青年在铺白桌布的桌前与蓝衣女子相对而坐；中景镜头略微右偏，混凝土墙与金属门构成阴郁背景，单一光源聚焦桌面。场景为实拍素材。	面部染血穿白色背心的女子... 面部染血穿白色背心的女子目光游移后直视镜头发言。深色束发与血迹在蓝调暗光中营造紧张氛围。特写镜头强化戏剧张力，疑似影视剧片段。
灰发蓄须穿灰衫的男子... 灰发蓄须穿灰衫的男子低头右顾后向左转头。特写镜头中泛绿暗光呈现真实感画面。	清澈绿松石色河流穿越岩峡谷... 清澈绿松石色河流穿越岩峡谷，形成小型瀑布与底部水潭。河流主景倒映周边松林岩壁，陡峭峡谷植被稀疏，褐色岩石与青翠松针形成鲜明对比，整体呈现宁静意境。	西装男子入室与沙发二女交谈... 西装男子入室与沙发二女交谈。灰发浅肤的深色西装男子自左入画走向中央，右手扶椅背；背景浅色沙发上，左女着蓝毛衣金发，右女白毛衣金发。明亮房间暖调反光，疑似影视场景。	海浪拍击锯齿状海岸岩礁... 海浪拍击暗灰色锯齿岩礁激起浪花。蓝绿清澈海水在岩石断裂处形成白沫，浅灰天空点缀零星云朵。
镜头平移展现中央圆顶建筑群... 镜头左移展现雪覆山脉环绕的中央圆顶建筑群。建筑群灰白色调，圆顶绿顶格外醒目。高空俯拍视角下阳光从左上方投射建筑阴影，场景为计算机生成图像。	男子走向窗前眺望后转身... 男子走向窗前眺望后转身。深色短发深肤色的棕衣男子围红灰围巾自左向右行进，中景跟拍展现白墙房间与白帘窗户。实拍素材记录其驻足凝望过程。	两名警员进入昏暗房间... 两名深蓝制服警员进入左侧门框的昏暗房间。首名蓄须棕发警员先行，光头山羊胡同伴随后，严肃表情配合砖墙金属顶的低调光影，营造影视剧般的凝重氛围。	栗色无袖上衣女子穿行房间时... 栗色无袖上衣戴银链的棕发女子穿行房间交谈时，粉发白衣女子突然门框处吼叫。首名女子左向右行进表情严肃，次名女子门框处瞪眼张嘴。背景书架隐约可见，实拍镜头先跟随后切换特写。

模型与工作流

模型详情

• 开发方: Lightricks
• 模型类型: 基于扩散的文本转视频及图像转视频生成模型
• 支持语言: 英语

使用方式

直接使用

您可在以下许可范围内使用模型：

• 2B版本0.9: 许可协议
• 2B版本0.9.1 许可协议
• 2B版本0.9.5 许可协议
• 2B版本0.9.6-dev 许可协议
• 2B版本0.9.6-distilled 许可协议
• 13B版本0.9.7-dev 许可协议
• 13B版本0.9.7-dev-fp8 许可协议
• 13B版本0.9.7-distilled 许可协议
• 13B版本0.9.7-distilled-fp8 许可协议
• 13B版本0.9.7-distilled-lora128 许可协议
• 时序超分版本0.9.7 许可协议
• 空间超分版本0.9.7 许可协议

通用建议:

• 模型支持的分辨率需为32的倍数，帧数需为8的倍数加1（如257）。若不符合，输入将被填充-1后裁剪至目标规格。
• 720×1280以下分辨率及257以下帧数效果最佳。
• 提示词应使用英语，越详细越好。优质提示示例：绿松石色海浪拍击暗黑锯齿岩岸，激起白色浪花。画面以碧蓝海水与近乎黑色的岩石形成强烈对比为主轴。清澈的绿松石色海水浪尖泛白，岩面覆有青苔。岸边植被茂密，远处丘陵森林绵延。多云天气下光线昏暗。

在线演示

模型可通过以下链接立即体验：

• LTX工作室图像转视频(13B混合版)
• LTX工作室图像转视频(13B蒸馏版)
• Fal.ai文本转视频
• Fal.ai图像转视频
• Replicate文本转视频与图像转视频

ComfyUI

要配合ComfyUI使用模型，请遵循专属仓库的指引。

本地运行

安装

代码库经Python 3.10.5与CUDA 12.2测试，支持PyTorch ≥ 2.1.2。

git clone https://github.com/Lightricks/LTX-Video.git
cd LTX-Video

# 创建环境
python -m venv env
source env/bin/activate
python -m pip install -e .\[inference-script\]

推理

使用inference.py进行推理：

文本转视频生成：

python inference.py --prompt "提示文本" --height 高度 --width 宽度 --num_frames