license: apache-2.0 tags:

• 文本生成视频
• 视频生成
• 北京智源研究院

NOVA (d48w1024-osp480) 模型卡片

模型详情

• 开发机构: 北京智源研究院
• 模型类型: 非量化自回归文本生成视频模型
• 模型大小: 6.45亿参数
• 计算精度: torch.float16 (FP16)
• 输出分辨率: 768x480像素
• 模型描述: 该模型能够根据文本提示生成和编辑视频，是基于非量化视频自回归扩散架构(NOVA)开发的模型，采用预训练文本编码器(Phi-2)和视频VAE标记器(OpenSoraPlanV1.2-VAE)构建。
• 模型许可: Apache 2.0许可证
• 更多资源: GitHub代码库

使用示例

通过🤗Diffusers库快速运行NOVA模型：

pip install diffusers transformers accelerate imageio[ffmpeg]
pip install git+ssh://git@github.com/baaivision/NOVA.git

运行生成管道：

import torch
from diffnext.pipelines import NOVAPipeline
from diffnext.utils import export_to_image, export_to_video

model_id = "BAAI/nova-d48w1024-osp480"
model_args = {"torch_dtype": torch.float16, "trust_remote_code": True}
pipe = NOVAPipeline.from_pretrained(model_id, **model_args)
pipe = pipe.to("cuda")

prompt = "水下脉动的斑点水母群"

# 生成单帧图像
image = pipe(prompt, max_latent_length=1).frames[0, 0]
export_to_image(image, "jellyfish.jpg")

# 生成基础视频
video = pipe(prompt, max_latent_length=9).frames[0]
export_to_video(video, "jellyfish.mp4", fps=12)

# 增强参数提升画质
video = pipe(
  prompt,
  max_latent_length=9,
  num_inference_steps=128,  # 默认值: 64
  num_diffusion_steps=100,  # 默认值: 25
).frames[0]
export_to_video(video, "jellyfish_v2.mp4", fps=12)

用途说明

直接用途

本模型仅限研究用途，适用场景包括：

• 生成模型相关研究
• 教育或创意工具开发
• 艺术创作与设计应用
• 生成模型的局限性及偏见研究
• 有害内容生成的安全部署研究

非适用场景

• 事实性内容生成：本模型不具备生成真实人物/事件准确表征的能力
• 恶意用途：包括但不限于：
  • 虚假/误导性信息
  • 极端暴力内容
  • 非自愿人物模仿
  • 未经同意的成人内容
  • 违反版权协议的素材生成
  • 传播歧视性内容或有害刻板印象
  • 篡改受版权保护的内容

局限性及偏见

技术局限

• 模型自动编码过程存在信息损失
• 无法生成复杂可读文本
• 无法实现完全照片级真实感
• 肢体细节（如手指等）生成可能不完善
• 训练数据包含成人/暴力内容（源自LAION-5B和COYO-700M数据集）

社会偏见

虽然图像生成能力突出，但可能强化现有社会偏见。