pipeline_tag: 文本生成视频 library_name: diffusers tags:

• 文本生成视频
• 图像生成视频

非官方Diffusers格式权重，适用于 https://huggingface.co/Lightricks/LTX-Video (版本0.9.1)

文本生成视频：

import torch
from diffusers import LTXPipeline
from diffusers.utils import export_to_video

pipe = LTXPipeline.from_pretrained("a-r-r-o-w/LTX-Video-0.9.1-diffusers", torch_dtype=torch.bfloat16)
pipe.to("cuda")

prompt = "一位棕色长发、肤色白皙的女子对着另一位金发女子微笑。棕发女子穿着黑色夹克，右脸颊有一颗几乎不可见的小痣。镜头采用特写角度，聚焦于棕发女子的面部。温暖自然的夕阳光线为场景投下柔和光晕，画面呈现真实生活片段"
negative_prompt = "低质量，动作不连贯，模糊，抖动，变形"

video = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    width=704,
    height=480,
    num_frames=161,
    num_inference_steps=50,
    decode_timestep=0.03,
    decode_noise_scale=0.025,
).frames[0]
export_to_video(video, "output.mp4", fps=24)

图像生成视频：

import torch
from diffusers import LTXImageToVideoPipeline
from diffusers.utils import export_to_video, load_image

pipe = LTXImageToVideoPipeline.from_pretrained("a-r-r-o-w/LTX-Video-0.9.1-diffusers", torch_dtype=torch.bfloat16)
pipe.to("cuda")

image = load_image(
    "https://huggingface.co/datasets/a-r-r-o-w/tiny-meme-dataset-captioned/resolve/main/images/8.png"
)
prompt = "前景中一个年轻女孩平静地直视镜头，背景是熊熊燃烧的房屋火灾。火焰吞噬建筑结构，浓烟滚滚升腾。身着防护服的消防员紧急赶赴现场，后方可见标有'38'的消防车。女孩平静的表情与火灾混乱形成强烈对比，营造出令人动容的情感场景"
negative_prompt = "低质量，动作不连贯，模糊，抖动，变形"

video = pipe(
    image=image,
    prompt=prompt,
    negative_prompt=negative_prompt,
    width=704,
    height=480,
    num_frames=161,
    num_inference_steps=50,
    decode_timestep=0.03,
    decode_noise_scale=0.025,
).frames[0]
export_to_video(video, "output.mp4", fps=24)