license: apache-2.0 language:

• en library_name: diffusers pipeline_tag: text-to-video

作品集 · GitHub · 博客 · 论文 · Discord · 加入候补名单（在Discord上试用！）

作品集

更多演示及对应提示词，请访问Allegro作品集。

核心特性

• 开源: 完整模型权重和代码向社区开放，采用Apache 2.0协议！
• 多样化内容创作: 能够生成从人类和动物特写到各种动态场景的广泛内容。
• 高质量输出: 生成2至6秒、15 FPS、分辨率为368x640和720x1280的详细视频，可通过EMA-VFI插帧至30 FPS。
• 轻量高效: 包含1.75亿参数的VideoVAE和28亿参数的VideoDiT模型。支持多种精度（FP32、BF16、FP16），在BF16模式下启用CPU卸载时仅占用9.3 GB显存。上下文长度达79.2K，相当于88帧。

模型信息

快速开始

1. 安装必要依赖

   • 确保Python >= 3.10, PyTorch >= 2.4, CUDA >= 12.4

   • 推荐使用Anaconda创建新环境(Python >= 3.10) conda create -n rllegro python=3.10 -y 来运行以下示例

   • 执行 pip install git+https://github.com/huggingface/diffusers.git torch==2.4.1 transformers==4.40.1 accelerate sentencepiece imageio imageio-ffmpeg beautifulsoup4

2. 运行推理

   import torch
   from diffusers import AutoencoderKLAllegro, AllegroPipeline
   from diffusers.utils import export_to_video
   vae = AutoencoderKLAllegro.from_pretrained("rhymes-ai/Allegro-T2V-40x720P", subfolder="vae", torch_dtype=torch.float32)
   
   pipe = AllegroPipeline.from_pretrained(
       "rhymes-ai/Allegro-T2V-40x720P", vae=vae, torch_dtype=torch.bfloat16
   )
   pipe.to("cuda")
   pipe.vae.enable_tiling()
   
   prompt = "阳光明媚的海港，海水波光粼粼，水面上停泊着许多船只。从空中俯瞰，船只大小不一、颜色各异，有的在移动，有的静止不动。水中的渔船表明这里可能是渔船停泊的热门地点。"
   
   positive_prompt = """
   (杰作), (最佳质量), (超精细), (无水印), 
   {} 
   富有情感, 和谐统一, 渐晕效果, 4K史诗级细节, 柯达胶片拍摄, 35mm照片质感, 
   锐利对焦, 高预算制作, 宽银幕效果, 氛围感强烈, 宏大场景, 惊艳视觉
   """
   
   negative_prompt = """
   不适合工作场合, 低分辨率, 解剖结构错误, 手部畸形, 文字, 错误, 缺失手指, 多余手指, 手指数量不足, 画面裁剪, 最差质量, 
   低质量, 普通质量, JPEG压缩痕迹, 签名, 水印, 用户名, 模糊不清
   """
   
   prompt = prompt.format(prompt.lower().strip())
   
   video = pipe(prompt, negative_prompt=negative_prompt, guidance_scale=7.5, max_sequence_length=512, num_inference_steps=100, generator = torch.Generator(device="cuda:0").manual_seed(42)).frames[0]
   export_to_video(video, "output.mp4", fps=15)
   

   使用pipe.enable_sequential_cpu_offload()可将模型卸载到CPU以减少显存占用，但会显著增加推理时间。

3. (可选) 将视频插帧至30 FPS

   推荐使用EMA-VFI将视频从15 FPS插值到30 FPS

   为获得更好的视觉效果，建议使用imageio保存视频。

4. 如需实现上下文并行(Context Parallel)、PAB等加速推理技术，请参考我们的GitHub仓库

许可协议

本仓库遵循Apache 2.0开源协议。