许可协议: cc-by-nc-4.0 标签:

• 文本生成视频

show-1插帧模型

基于像素的视频扩散模型(VDMs)能生成与文本提示精准匹配的运动画面，但通常需要耗费大量计算资源和GPU显存，尤其在高分辨率视频生成时更为明显。而基于潜空间的VDMs由于工作在降维后的潜空间中，资源效率更高。但如此小的潜空间（例如生成256×160视频对应的64×40潜空间）难以覆盖文本提示所描述的丰富且必要的视觉语义细节。

为了结合两类模型的优势并弥补其不足，我们推出了Show-1——一个高效的文本生成视频模型，不仅能实现良好的视频-文本对齐，还能生成具有高视觉质量的视频。

模型详情

本模型是Show-1的插帧模型，可将视频从2fps提升至7.5fps。该模型基于showlab/show-1-base在WebVid-10M数据集上微调而成。

• 开发团队: 新加坡国立大学Show实验室
• 模型类型: 基于像素与潜空间的级联式文本生成视频扩散模型
• 级联阶段: 插帧处理(2fps->7.5fps)
• 微调基础模型: showlab/show-1-base
• 许可协议: 知识共享署名非商业性4.0国际许可协议
• 更多资源: GitHub、项目网站、arXiv论文

使用方法

克隆GitHub仓库并安装依赖：

git clone https://github.com/showlab/Show-1.git
pip install -r requirements.txt

运行以下命令根据文本提示生成视频。默认会自动从huggingface下载全部模型权重。

python run_inference.py

也可手动下载权重后，修改run_inference.py中的pretrained_model_path参数运行推理。

git lfs install

# 基础模型
git clone https://huggingface.co/showlab/show-1-base
# 插帧模型
git clone https://huggingface.co/showlab/show-1-interpolation
# 超分模型1
git clone https://huggingface.co/showlab/show-1-sr1
# 超分模型2
git clone https://huggingface.co/showlab/show-1-sr2

引用文献

若使用我们的工作，请引用论文：

@misc{zhang2023show1,
    title={Show-1: 融合像素与潜空间扩散模型的文本生成视频方法}, 
    author={张俊豪 and 吴章杰 and 刘家伟 and 赵瑞 and 冉凌敏 and 谷雨超 and 高迪菲 and 寿政},
    year={2023},
    eprint={2309.15818},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

模型卡片联系人

本模型卡片由张俊豪和吴章杰维护。如有疑问，请联系我们或在仓库提交issue。