pipeline_tag: 图像转视频 license: 其他 license_name: stable-video-diffusion-nc-community license_link: 许可证

稳定视频扩散图像转视频模型卡

稳定视频扩散(SVD)图像转视频是一种扩散模型，可将静态图像作为条件帧并生成视频。

模型详情

模型描述

(SVD)图像转视频是一个潜在扩散模型，经过训练可从条件图像生成短视频片段。该模型在576x1024分辨率下生成25帧视频，基于相同尺寸的上下文帧进行微调，其基础版本是SVD图像转视频[14帧]。我们还对广泛使用的f8解码器进行了时序一致性微调。为方便起见，我们额外提供了标准逐帧解码器版本在此获取。

• 开发机构: Stability AI
• 资助方: Stability AI
• 模型类型: 生成式图像转视频模型
• 微调基础模型: SVD图像转视频[14帧]

模型来源

出于研究目的，我们推荐使用generative-models Github仓库(https://github.com/Stability-AI/generative-models)，该库实现了最流行的扩散框架（包含训练和推理功能）。

• 代码仓库: https://github.com/Stability-AI/generative-models
• 研究论文: https://stability.ai/research/stable-video-diffusion-scaling-latent-video-diffusion-models-to-large-datasets

评估

上图展示了用户对SVD图像转视频与GEN-2和PikaLabs的偏好对比。在视频质量方面，人类评估者更倾向于选择SVD图像转视频。用户研究详情请参阅研究论文

用途

直接用途

本模型仅限研究用途，可能的研究方向包括：

• 生成模型研究
• 具有潜在有害内容生成风险的模型安全部署
• 探索和理解生成模型的局限性与偏差
• 艺术创作及设计等创意流程应用
• 教育或创意工具开发

以下为禁止用途说明。

非适用场景

本模型未针对人物或事件的真实再现进行训练，因此生成此类内容超出模型能力范围。禁止以任何形式违反Stability AI可接受使用政策的行为。

局限性与偏差

局限性

• 生成视频时长较短(≤4秒)，且未达到完美逼真效果
• 可能生成无动态画面或缓慢平移镜头
• 不支持文本控制生成
• 无法呈现可读文本
• 人脸及人物生成可能不准确
• 模型的自动编码部分存在信息损失

使用建议

建议仅将本模型用于研究目的。

快速开始

访问 https://github.com/Stability-AI/generative-models 获取使用指南