许可协议:apache-2.0
支持语言:
标签:
- 图像转视频
- LoRA微调
- Replicate平台
- 文本转视频
- 视频生成
基础模型:"Wan-AI/Wan2.1-T2V-14B-Diffusers"
管道类型:文本转视频
示例输入:
- 文本描述:>
"LAEZEL在咖啡馆大笑的场景,温暖氛围,背景虚化,壁炉火光"
输出视频链接:
https://replicate.delivery/xezq/i9enM2xXXNT1Siglhh15IvZvpoMRlytk2sqegWUz6rpcHzXUA/R8_Wan_00001.mp4
触发词:LAEZEL
Wan 14B 拉埃泽尔角色微调模型
<画廊展示区 />
关于此LoRA微调
这是专为Wan2.1 14B视频生成模型设计的LoRA微调模块,兼容Diffusers和ComfyUI框架,可同时应用于文本转视频和图像转视频的Wan2.1模型。
训练过程通过Replicate平台完成,使用AI工具包:
https://replicate.com/ostris/wan-lora-trainer/train
触发词
使用LAEZEL
作为视频生成触发词。
使用指南
Replicate平台提供了一系列优化速度和成本的Wan2.1模型,均可与本LoRA配合使用:
- 模型集合:https://replicate.com/collections/wan-video
- 带LoRA的模型:https://replicate.com/fofr/wan2.1-with-lora
通过Replicate API调用
import replicate
input = {
"prompt": "LAEZEL",
"lora_url": "https://huggingface.co/fofr/wan-14b-laezel/resolve/main/wan2.1-14b-laezel-lora.safetensors"
}
output = replicate.run(
"fofr/wan2.1-with-lora:f83b84064136a38415a3aff66c326f94c66859b8ad7a2cb432e2822774f07b08",
model="14b",
input=input
)
for index, item in enumerate(output):
with open(f"output_{index}.mp4", "wb") as file:
file.write(item.read())
Diffusers框架调用
安装依赖:
pip install git+https://github.com/huggingface/diffusers.git
调用代码:
import torch
from diffusers.utils import export_to_video
from diffusers import AutoencoderKLWan, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler
model_id = "Wan-AI/Wan2.1-T2V-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", torch_dtype=torch.float32)
pipe = WanPipeline.from_pretrained(model_id, vae=vae, torch_dtype=torch.bfloat16)
flow_shift = 3.0
pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config, flow_shift=flow_shift)
pipe.to("cuda")
pipe.load_lora_weights("fofr/wan-14b-laezel")
pipe.enable_model_cpu_offload()
prompt = "LAEZEL"
negative_prompt = "高亮度/过曝/静态模糊/细节缺失/字幕/艺术风格/画作/图片/静态画面/整体发灰/劣质画面/低分辨率/JPEG压缩痕迹/丑陋/残缺/多手指/手部绘制差/面部扭曲/畸形/肢体异常/手指粘连/静止画面/杂乱背景/三腿人/背景多人/倒走动作"
output = pipe(
prompt=prompt,
negative_prompt=negative_prompt,
height=480,
width=832,
num_frames=81,
guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)
训练参数
- 训练步数:2000
- 学习率:0.0001
- LoRA秩:32
社区贡献
欢迎在社区讨论区分享您使用本LoRA创作的视频作品。