license: apache-2.0 language:

• en library_name: diffusers pipeline_tag: text-to-video

作品集 · GitHub · 博客 · 论文 · Discord · 加入候补名单 (Discord上试用!)

作品集

更多演示及对应提示词，请访问Allegro作品集。

核心特性

• 开源: 完整模型权重和代码向社区开放，Apache 2.0协议！
• 多样化内容创作: 能够生成从人物动物特写到各类动态场景的广泛内容。
• 高质量输出: 生成720x1280分辨率、15 FPS的6秒细节视频，可通过EMA-VFI插帧至30 FPS。
• 轻量高效: 包含1.75亿参数VideoVAE和28亿参数VideoDiT模型。支持多精度(FP32/BF16/FP16)，BF16模式下CPU卸载时显存占用仅9.3GB。上下文长度79.2K，相当于88帧。

模型信息

快速开始

1. 安装必要环境

   • 确保Python >= 3.10, PyTorch >= 2.4, CUDA >= 12.4

   • 推荐使用Anaconda创建新环境(Python >= 3.10) conda create -n rllegro python=3.10 -y 来运行示例

   • 执行 pip install git+https://github.com/huggingface/diffusers.git torch==2.4.1 transformers==4.40.1 accelerate sentencepiece imageio imageio-ffmpeg beautifulsoup4

2. 运行推理

   import torch
   from diffusers import AutoencoderKLAllegro, AllegroPipeline
   from diffusers.utils import export_to_video
   vae = AutoencoderKLAllegro.from_pretrained("rhymes-ai/Allegro", subfolder="vae", torch_dtype=torch.float32)
   pipe = AllegroPipeline.from_pretrained(
       "rhymes-ai/Allegro", vae=vae, torch_dtype=torch.bfloat16
   )
   pipe.to("cuda")
   pipe.vae.enable_tiling()
   prompt = "阳光明媚的海港，海水波光粼粼，水面上停泊着许多船只。从空中俯瞰，船只大小颜色各异，有的在移动有的静止。水中的渔船暗示这里可能是渔船的集散地。"
   
   positive_prompt = """
   (大师级作品), (最佳质量), (超精细), (无水印), 
   {} 
   富有情感, 和谐统一, 渐晕效果, 4K史诗级细节, 柯达胶片拍摄, 35mm照片质感, 
   锐利对焦, 高预算制作, 宽银幕效果, 氛围感强烈, 史诗级画面, 惊艳绝伦
   """
   
   negative_prompt = """
   不适合工作场所内容, 低分辨率, 解剖结构错误, 手部畸形, 文字, 错误, 缺失手指, 多余手指, 手指数量不足, 画面裁剪, 最差质量, 
   低质量, 普通质量, JPEG压缩痕迹, 签名, 水印, 用户名, 模糊不清。
   """
   
   prompt = prompt.format(prompt.lower().strip())
   
   video = pipe(prompt, negative_prompt=negative_prompt, guidance_scale=7.5, max_sequence_length=512, num_inference_steps=100, generator = torch.Generator(device="cuda:0").manual_seed(42)).frames[0]
   export_to_video(video, "output.mp4", fps=15)
   

   使用pipe.enable_sequential_cpu_offload()可将模型卸载至CPU以降低显存占用(约9.3G，未启用时为27.5G)，但会显著增加推理时间。

3. (可选)将视频插帧至30 FPS

   推荐使用EMA-VFI将视频从15 FPS插值至30 FPS

   为获得最佳画质，建议使用imageio保存视频

4. 如需使用上下文并行(Context Parallel)、PAB等加速推理技术，请参考我们的GitHub仓库

许可协议

本仓库遵循Apache 2.0开源协议。