关于此LoRA

这是为Wan2.1 14b视频生成模型训练的LoRA。

它可与diffusers或ComfyUI配合使用，并适用于Wan2.1的文本转视频和图像转视频模型。

训练在Replicate上完成，使用AI工具包：https://replicate.com/ostris/wan-lora-trainer/train

触发词

使用COLTOK触发视频生成。

使用此LoRA

Replicate提供了一系列优化速度和成本的Wan2.1模型，均可与此LoRA配合使用：

• https://replicate.com/collections/wan-video
• https://replicate.com/fofr/wan2.1-with-lora

通过Replicate API运行此LoRA

import replicate  

input = {  
    "prompt": "COLTOK",  
    "lora_url": "https://huggingface.co/mam33/qwenfluxprompt/resolve/main/wan2.1-14b-coltok-lora.safetensors"  
}  

output = replicate.run(  
    "fofr/wan2.1-with-lora:f83b84064136a38415a3aff66c326f94c66859b8ad7a2cb432e2822774f07b08",  
    model="14b",  
    input=input  
)  
for index, item in enumerate(output):  
    with open(f"output_{index}.mp4", "wb") as file:  
        file.write(item.read())  

与Diffusers配合使用

pip install git+https://github.com/huggingface/diffusers.git  

import torch  
from diffusers.utils import export_to_video  
from diffusers import AutoencoderKLWan, WanPipeline  
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler  

model_id = "Wan-AI/Wan2.1-T2V-14B-Diffusers"  
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", torch_dtype=torch.float32)  
pipe = WanPipeline.from_pretrained(model_id, vae=vae, torch_dtype=torch.bfloat16)  
flow_shift = 3.0  # 5.0对应720P，3.0对应480P  
pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config, flow_shift=flow_shift)  
pipe.to("cuda")  

pipe.load_lora_weights("mam33/qwenfluxprompt")  

pipe.enable_model_cpu_offload() #适用于低显存环境  

prompt = "COLTOK"  
negative_prompt = "明亮色调、过曝、静态、细节模糊、字幕、风格化作品、绘画、图片、静态画面、整体发灰、最差质量、低质量、JPEG压缩痕迹、丑陋、不完整、多余手指、手部绘制差、面部绘制差、畸形、变形、肢体扭曲、手指粘连、静止画面、背景杂乱、三条腿、背景多人、倒走"  

output = pipe(  
    prompt=prompt,  
    negative_prompt=negative_prompt,  
    height=480,  
    width=832,  
    num_frames=81,  
    guidance_scale=5.0,  
).frames[0]  
export_to_video(output, "output.mp4", fps=16)  

训练详情

• 步数：2000
• 学习率：0.0001
• LoRA秩：32

贡献您的示例

您可以通过社区讨论区分享使用此LoRA创作的视频作品。