模型描述

这是基于CogVideoX模型THUDM/CogVideoX-5b进行LoRA微调的版本。

该模型使用CogVideoX工厂训练完成——这是一个包含内存优化训练脚本的代码库，通过TorchAO和DeepSpeed技术实现对CogVideoX系列模型的高效训练。相关脚本改编自CogVideoX Diffusers训练器。

下载模型

请在文件与版本选项卡中下载LoRA权重文件。

使用说明

需安装🧨 Diffusers库。

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

pipe = CogVideoXPipeline.from_pretrained("THUDM/CogVideoX-5b", torch_dtype=torch.bfloat16).to("cuda")
pipe.load_lora_weights("a-r-r-o-w/cogvideox-disney-adamw-4000-0.0003-constant", weight_name="pytorch_lora_weights.safetensors", adapter_name="cogvideox-lora")

# LoRA适配器权重比例取决于训练时的参数配置
# 本例假设训练时`--lora_alpha`为32，`--rank`为64
# 可通过调整该比值在一定范围内增强或减弱LoRA效果
# 超出合理范围可能导致效果消失或数值溢出
pipe.set_adapters(["cogvideox-lora"], [32 / 64])

video = pipe("BW_STYLE 黑白动画场景中，拟人化山羊被音符和符号环绕，营造出欢快氛围。米老鼠好奇地俯身靠近静止的山羊，随后山羊开始与米奇互动，米奇弯腰交谈或回应。动态转折处米奇突然抓住山羊，在极简背景中展现惊喜或嬉闹。场景以奇幻动画风格捕捉两个角色情感关系的演变，突出互动与情绪表达", guidance_scale=6, use_dynamic_cfg=True).frames[0]
export_to_video(video, "output.mp4", fps=8)

更多细节（包括权重调整、合并与融合LoRA等技术），请参阅diffusers官方文档中关于加载适配器的说明。

许可协议

请遵守此处和此处描述的许可条款。