pipeline_tag: 图像转视频 license: 其他 license_name: stable-video-diffusion-nc-community license_link: LICENSE

Stable Video Diffusion 图像转视频模型卡片

Stable Video Diffusion（SVD）图像转视频是一个扩散模型，它以静态图像作为条件帧，并从中生成视频。

模型详情

模型描述

SVD图像转视频是一个潜在扩散模型，经过训练可以从图像条件生成短视频片段。该模型能够基于相同尺寸（576x1024分辨率）的上下文帧生成14帧画面。我们还对广泛使用的f8解码器进行了微调以确保时间一致性。为方便使用，我们额外提供了标准逐帧解码器模型此处。

• 开发机构: Stability AI
• 资助方: Stability AI
• 模型类型: 生成式图像转视频模型

模型来源

出于研究目的，我们推荐使用generative-models GitHub仓库（https://github.com/Stability-AI/generative-models），该仓库实现了最流行的扩散框架（包括训练和推理）。

• 代码仓库: https://github.com/Stability-AI/generative-models
• 论文: https://stability.ai/research/stable-video-diffusion-scaling-latent-video-diffusion-models-to-large-datasets

评估

上图展示了用户对SVD图像转视频与GEN-2、PikaLabs的偏好比较。在视频质量方面，人类评估者更倾向于选择SVD图像转视频。关于用户研究的详细信息，请参阅研究论文。

用途

直接用途

本模型仅限研究用途，潜在研究方向包括：

• 生成模型研究
• 可能产生有害内容的模型安全部署
• 探索和理解生成模型的局限性与偏差
• 艺术创作及在设计等创意流程中的应用
• 教育或创意工具开发

以下为超出模型能力范围的使用场景。

非适用场景

该模型未经训练以生成真实人物或事件的准确表征，因此此类内容生成超出模型能力范围。禁止以任何形式违反Stability AI可接受使用政策的行为。

局限性与偏差

局限性

• 生成视频时长较短（≤4秒），且无法达到完美逼真效果
• 可能生成无动态画面或极缓慢平移镜头
• 无法通过文本控制生成内容
• 无法呈现可识别文字
• 人脸及人物生成可能不准确
• 模型的自动编码部分存在信息损失

使用建议

建议仅将本模型用于研究目的。

快速开始

访问 https://github.com/Stability-AI/generative-models 获取使用指南