许可协议：creativeml-openrail-m
基础模型：nitrosocke/redshift-diffusion
训练提示词：一个男人正在滑雪。
标签：

• tune-a-video
• 文本生成视频
• diffusers
  推理支持：否

Tune-A-Video - 红移风格

模型描述

• 基础模型：nitrosocke/redshift-diffusion
• 训练提示词：一个男人正在滑雪。
  

生成示例

测试提示词：（红移风格）[蜘蛛侠/黑寡妇/蝙蝠侠/浩克]正在滑雪。

使用方法

克隆GitHub仓库

git clone https://github.com/showlab/Tune-A-Video.git  

运行推理代码

from tuneavideo.pipelines.pipeline_tuneavideo import TuneAVideoPipeline  
from tuneavideo.models.unet import UNet3DConditionModel  
from tuneavideo.util import save_videos_grid  
import torch  

pretrained_model_path = "nitrosocke/redshift-diffusion"  
unet_model_path = "Tune-A-Video-library/redshift-man-skiing"  
unet = UNet3DConditionModel.from_pretrained(unet_model_path, subfolder='unet', torch_dtype=torch.float16).to('cuda')  
pipe = TuneAVideoPipeline.from_pretrained(pretrained_model_path, unet=unet, torch_dtype=torch.float16).to("cuda")  
pipe.enable_xformers_memory_efficient_attention()  

prompt = "（红移风格）蜘蛛侠正在滑雪"  
video = pipe(prompt, video_length=8, height=512, width=512, num_inference_steps=50, guidance_scale=7.5).videos  

save_videos_grid(video, f"./{prompt}.gif")  

相关论文：

• Tune-A-Video：单样本调优图像扩散模型实现文本到视频生成
• Stable Diffusion：基于潜在扩散模型的高分辨率图像合成