---

许可协议：Apache-2.0
支持语言：

• 英语
  任务类型：图像生成视频
  库名称：diffusers

作品集 · GitHub · 博客 · 论文 · Discord

作品集

更多示例及对应提示词请访问[Allegro作品集](https://rhymes.ai/allegro_gallery)。

核心特性

• 开源：完整模型权重和代码已公开，采用Apache 2.0协议！
• 多样化内容创作：支持生成从人物/动物特写到各类动态场景的广泛内容。
• 文本-图像生成视频：基于用户提示词和输入图像生成视频，支持以下输入模式：
  • 根据首帧图像和提示词生成后续视频内容
  • 根据首尾帧图像和提示词生成中间视频内容
• 高质量输出：可生成720x1280分辨率、15 FPS的6秒视频，支持通过EMA-VFI插帧至30 FPS。
• 轻量高效：包含1.75亿参数VideoVAE和28亿参数VideoDiT模型。支持多精度推理（FP32/BF16/FP16），BF16模式下启用CPU卸载时显存占用仅9.3GB。上下文长度达79.2K（相当于88帧）。

模型信息

模型	Allegro-TI2V	Allegro
描述	文本-图像生成视频模型	文本生成视频模型
下载	Hugging Face	Hugging Face
参数量	VAE：1.75亿
	DiT：28亿
推理精度	VAE：FP32/TF32/BF16/FP16（推荐FP32/TF32）
	DiT/T5：BF16/FP32/TF32
上下文长度	79.2K
分辨率	720×1280
帧数	88
视频时长	6秒@15 FPS
单卡显存占用	9.3G（BF16+CPU卸载）
推理时间	20分钟（单H100）/3分钟（8×H100）

快速开始

1. 下载Allegro GitHub代码

2. 安装依赖环境

   • 需Python≥3.10、PyTorch≥2.4、CUDA≥12.4，详见requirements.txt
   • 推荐使用Anaconda创建新环境（Python≥3.10）运行示例

3. 下载Allegro-TI2V模型权重

4. 运行推理

   python single_inference_ti2v.py \  
   --user_prompt '汽车沿道路行驶' \  
   --first_frame 你的/首帧图像路径.png \  
   --vae 你的/vae模型路径 \  
   --dit 你的/transformer模型路径 \  
   --text_encoder 你的/文本编码器路径 \  
   --tokenizer 你的/分词器路径 \  
   --guidance_scale 8 \  
   --num_sampling_steps 100 \  
   --seed 1427329220  
   

   输出视频固定为720×1280分辨率，不同尺寸的输入图像将自动裁剪缩放适配。

   参数	说明
   --user_prompt	[必填] 图像生成视频的文本提示
   --first_frame	[必填] 图像生成视频的首帧输入
   --last_frame	[选填] 若提供，模型将基于首尾帧生成中间视频内容
   --enable_cpu_offload	[选填] 启用CPU卸载可降低显存占用（约9.3G，未启用时为27.5G），但会显著增加推理时间

5. （可选）视频插帧至30 FPS

   • 推荐使用EMA-VFI将视频从15 FPS插值至30 FPS
   • 可使用imageio保存视频以获得更佳画质

许可协议

本项目采用Apache 2.0许可证。