许可协议: cc-by-nc-4.0
标签:

• 文本生成视频

show-1-sr2

基于像素的视频扩散模型（VDMs）能生成与文本提示精准对齐的运动画面，但通常需要高昂的时间成本和GPU显存开销，尤其在生成高分辨率视频时。基于潜空间的VDMs因工作在降维的潜空间中而更节省资源，但微小潜空间（例如生成256×160视频对应的64×40潜空间）难以涵盖文本提示所描述的丰富且必要的视觉语义细节。

为融合两类模型的优势并弥补其不足，我们推出Show-1——一个高效文本生成视频模型，既能保证良好的视频-文本对齐性，又能呈现高质量的视觉效果。

模型详情

本模型是Show-1的超分辨率模块，可将256x160分辨率视频提升至576x320。该模型在WebVid-10M数据集上使用0-900扩散步数进行微调。

• 开发团队: 新加坡国立大学Show实验室
• 模型类型: 基于像素与潜空间的级联式文本生成视频扩散模型
• 级联阶段: 超分辨率（256x160→576x320）
• 微调基础模型: cerspense/zeroscope_v2_576w
• 许可协议: 知识共享署名非商业性4.0
• 更多资源: GitHub | 项目网站 | arXiv论文

使用方法

克隆GitHub仓库并安装依赖：

git clone https://github.com/showlab/Show-1.git  
pip install -r requirements.txt  

运行以下命令根据文本提示生成视频（默认自动从HuggingFace下载全部模型权重）：

python run_inference.py  

也可手动下载权重后修改run_inference.py中的pretrained_model_path路径运行推理：

git lfs install  

# 基础模型  
git clone https://huggingface.co/showlab/show-1-base  
# 插帧模型  
git clone https://huggingface.co/showlab/show-1-interpolation  
# 一级超分模型  
git clone https://huggingface.co/showlab/show-1-sr1  
# 二级超分模型  
git clone https://huggingface.co/showlab/show-1-sr2  

引用

若使用我们的工作，请引用论文：

@misc{zhang2023show1,  
    title={Show-1: 融合像素与潜空间扩散模型的文本生成视频技术},  
    author={张俊昊 and 吴章杰 and 刘嘉伟 and 赵锐 and 冉凌敏 and 谷雨超 and 高迪菲 and 寿政宏},  
    year={2023},  
    eprint={2309.15818},  
    archivePrefix={arXiv},  
    primaryClass={cs.CV}  
}  

模型卡片维护

本卡片由张俊昊与吴章杰维护。如有疑问请联系我们或在仓库提交issue。