许可证:其他
许可证名称:其他
许可证链接:LICENSE
语言:
- 英文
基础模型:
- Lightricks/LTX-Video
任务标签:文本生成视频
标签:
- 文本生成视频
- 图像生成视频
- 视频生成视频
- ltx-video
- ltxv
- gguf-comfy
- gguf-connector
- gguf-node
示例:
- 文本:新版本0.9.5 <<元数据>> 使用fp32-q6
输出:
链接:samples\ComfyUI_00010_.webp
- 文本:新版本0.9.5 <<元数据>> 使用fp32-q8
输出:
链接:samples\ComfyUI_00011_.webp
- 文本:根据速度测试结果,fp32-q8似乎非常快
输出:
链接:samples\ComfyUI_00012_.webp
- 文本:碧绿的波浪拍打着岸边黝黑嶙峋的岩石,激起白色的浪花飞溅到空中。画面中明亮的蓝色海水与深色近乎黑色的岩石形成鲜明对比。海水清澈呈碧绿色,浪尖覆盖着白色泡沫。岩石黝黑嶙峋,表面斑驳地覆盖着绿色苔藓。岸边植被茂盛,树木和灌木丛生。远处是连绵起伏覆盖着茂密森林的山丘。天空多云,光线昏暗。
输出:
链接:samples\ComfyUI_00003_.webp
- 文本:摄像机平移拍摄城市景观,高楼林立,中央有一座圆形建筑。镜头从左向右移动,展示建筑顶部和中央的圆形建筑。建筑呈现各种灰白色调,圆形建筑拥有绿色屋顶。拍摄角度较高,俯瞰城市。光线明亮,阳光从左上方照射,投下建筑阴影。场景为计算机生成图像。
输出:
链接:samples\ComfyUI_00002_.webp
- 文本:无人机视角拍摄大苏尔加雷角海滩,海浪拍打崎岖的悬崖。蓝色的海水撞击形成白顶浪花,夕阳的金色光芒照亮岩石海岸。远处有一座带灯塔的小岛,悬崖边缘覆盖着绿色灌木。从公路到海滩的陡峭落差极具戏剧性,悬崖边缘突出于海面之上。这一视角捕捉了海岸原始之美和太平洋海岸公路崎岖的地貌。
输出:
链接:samples\ComfyUI_00001_.webp
- 文本:新版本r2似乎产生不同结果 <<元数据>> q4
输出:
链接:samples\ComfyUI_00004_.webp
- 文本:新版本r2似乎产生不同结果 <<元数据>> q8
输出:
链接:samples\ComfyUI_00005_.webp
- 文本:新版本r2似乎产生不同结果 <<元数据>> f16
输出:
链接:samples\ComfyUI_00006_.webp
- 文本:新版本vae fp16 <<元数据>>
输出:
链接:samples\ComfyUI_00007_.webp
- 文本:新版本vae fp32 <<元数据>>
输出:
链接:samples\ComfyUI_00008_.webp
- 文本:新版本gguf vae <<元数据>> fp32-f16(拖动获取工作流)
输出:
链接:samples\ComfyUI_00009_.webp
库名称:diffusers
LTX-Video的GGUF量化和fp8缩放版本

设置(一次性操作)
- 将ltx-video-2b-v0.9.1-r2-q4_0.gguf(1.09GB)拖放至> ./ComfyUI/models/diffusion_models
- 将t5xxl_fp16-q4_0.gguf(2.9GB)拖放至> ./ComfyUI/models/text_encoders
- 将ltxv_vae_fp32-f16.gguf(838MB)拖放至> ./ComfyUI/models/vae
直接运行(无需安装的方式)
- 在主目录运行.bat文件(假设您使用下面的gguf-node包)
- 将工作流json文件(见下方)拖放至>您的浏览器
工作流
评测
q2_k
gguf速度极快但不可用;仅用于测试
- 出乎意料的是
0.9_fp8_e4m3fn
和0.9-vae_fp8_e4m3fn
表现相当不错
- 可以混合搭配;您可以尝试将可用的vae与不同的模型文件组合使用;测试哪种组合效果最佳
- 您可以选择使用t5xxl缩放的safetensors或t5xxl gguf(更多t5xxl的量化版本可在此处找到)作为文本编码器
- 本包新增一组增强版vae(从fp8到fp32);低内存版本的gguf vae也已就绪;升级您的节点以获取新功能:gguf vae加载器
- gguf-node已可用(详见此处)用于运行新功能(以下内容可能与模型无直接关联)
- 您可以使用新节点通过comfyui制作自己的
fp8_e4m3fn
缩放safetensors和/或将其转换为gguf
使用diffusers🧨运行(替代方案1)
import torch
from transformers import T5EncoderModel
from diffusers import LTXPipeline, GGUFQuantizationConfig, LTXVideoTransformer3DModel
from diffusers.utils import export_to_video
model_path = (
"https://huggingface.co/calcuis/ltxv-gguf/blob/main/ltx-video-2b-v0.9-q8_0.gguf"
)
transformer = LTXVideoTransformer3DModel.from_single_file(
model_path,
quantization_config=GGUFQuantizationConfig(compute_dtype=torch.bfloat16),
torch_dtype=torch.bfloat16,
)
text_encoder = T5EncoderModel.from_pretrained(
"calcuis/ltxv-gguf",
gguf_file="t5xxl_fp16-q4_0.gguf",
torch_dtype=torch.bfloat16,
)
pipe = LTXPipeline.from_pretrained(
"callgg/ltxv-decoder",
text_encoder=text_encoder,
transformer=transformer,
torch_dtype=torch.bfloat16
).to("cuda")
prompt = "一位棕色长发、肤色白皙的女性对另一位金色长发的女性微笑。棕发女性穿着黑色夹克,右脸颊有一颗几乎不可见的小痣。镜头特写聚焦于棕发女性的面部。光线温暖自然,可能来自夕阳,为场景投下柔和光芒。画面呈现真实生活片段"
negative_prompt = "质量差、动作不一致、模糊、抖动、失真"
video = pipe(
prompt=prompt,
negative_prompt=negative_prompt,
width=704,
height=480,
num_frames=25,
num_inference_steps=50,
).frames[0]
export_to_video(video, "output.mp4", fps=24)
使用gguf-connector运行(替代方案2)
- 只需在控制台/终端执行以下命令
- 注意:首次启动时会自动将模型文件拉取至本地缓存;之后可选择完全离线运行;即通过本地URL:http://127.0.0.1:7860使用轻量级webui
- 基础模型已从0.9升级至0.9.6蒸馏版以获得更好效果
ggc vg

- 上述命令用于文本生成视频(t2v)面板
- 对于图像-文本生成视频(i2v)面板,请执行:
ggc v1

参考