许可协议：creativeml-openrail-m
基础模型：nitrosocke/mo-di-diffusion
训练提示词：一只熊在弹吉他。
标签：

• tune-a-video
• 文本生成视频
• diffusers
  推理：false

Tune-A-Video - 现代迪士尼风格

模型描述

这是一个兼容diffusers的检查点。与DiffusionPipeline配合使用时，将返回TuneAVideoPipeline的实例。

df-cpt用于表示这是Tune-A-Video-library/mo-di-bear-guitar的diffusers兼容版本。

• 基础模型：nitrosocke/mo-di-diffusion
• 训练提示词：一只熊在弹吉他。
  

示例

测试提示词："一位公主在弹吉他，现代迪士尼风格"

使用方法

加载预训练的文本生成图像检查点

import torch  
from diffusers import TuneAVideoPipeline, DDIMScheduler, UNet3DConditionModel  
from diffusers.utils import export_to_video  
from PIL import Image  

# 使用基于稳定扩散的任何预训练文本生成图像检查点  
pretrained_model_path = "nitrosocke/mo-di-diffusion"  
unet = UNet3DConditionModel.from_pretrained(  
    "Tune-A-Video-library/df-cpt-mo-di-bear-guitar", subfolder="unet", torch_dtype=torch.float16  
).to("cuda")  

pipe = TuneAVideoPipeline.from_pretrained(pretrained_model_path, unet=unet, torch_dtype=torch.float16).to("cuda")  

prompt = "一位公主在弹吉他，现代迪士尼风格"  
generator = torch.Generator(device="cuda").manual_seed(42)  

video_frames = pipe(prompt, video_length=3, generator=generator, num_inference_steps=50, output_type="np").frames  

# 保存为gif  
pil_frames = [Image.fromarray(frame) for frame in video_frames]  
duration = len(pil_frames) / 8  
pil_frames[0].save(  
    "animation.gif",  
    save_all=True,  
    append_images=pil_frames[1:],  # 附加其余图像  
    duration=duration * 1000,  # 以毫秒为单位  
    loop=0,  
)  

# 保存为视频  
video_path = export_to_video(video_frames)  

加载已保存的Tune-A-Video检查点

import torch  
from diffusers import DiffusionPipeline, DDIMScheduler  
from diffusers.utils import export_to_video  
from PIL import Image  

pipe = DiffusionPipeline.from_pretrained(  
    "Tune-A-Video-library/df-cpt-mo-di-bear-guitar", torch_dtype=torch.float16  
).to("cuda")  

prompt = "一位公主在弹吉他，现代迪士尼风格"  
generator = torch.Generator(device="cuda").manual_seed(42)  

video_frames = pipe(prompt, video_length=3, generator=generator, num_inference_steps=50, output_type="np").frames  

# 保存为gif  
pil_frames = [Image.fromarray(frame) for frame in video_frames]  
duration = len(pil_frames) / 8  
pil_frames[0].save(  
    "animation.gif",  
    save_all=True,  
    append_images=pil_frames[1:],  # 附加其余图像  
    duration=duration * 1000,  # 以毫秒为单位  
    loop=0,  
)  

# 保存为视频  
video_path = export_to_video(video_frames)  

相关论文：

• Tune-A-Video：一次性调优图像扩散模型以实现文本到视频生成
• Stable Diffusion：基于潜在扩散模型的高分辨率图像合成