开源许可: MIT
任务类型: 文本生成视频
库名称: diffusers

VidToMe: 零样本视频编辑的跨帧令牌合并技术

只需输入提示词，即刻编辑视频！🎥

Diffusers版VidToMe是基于扩散模型的零样本视频编辑方案，通过合并视频帧间的自注意力令牌，显著提升时间连贯性并降低内存消耗。
该方法无需微调模型即可实现和谐的视频生成与编辑，通过跨帧对齐和压缩冗余令牌，确保画面过渡流畅、输出内容连贯，较传统视频编辑方法有显著提升。
技术细节详见研究论文。

使用方法

from diffusers import DiffusionPipeline  

# 加载预训练模型  
pipeline = DiffusionPipeline.from_pretrained(  
    "jadechoghari/VidToMe",   
    trust_remote_code=True,   
    custom_pipeline="jadechoghari/VidToMe",   
    sd_version="depth",   
    device="cuda",   
    float_precision="fp16"  
)  

# 设置反转提示词与生成提示词  
inversion_prompt = "火烈鸟伫立在水边的树旁。"  
generation_prompt = {"origami": "彩虹色折纸火烈鸟伫立在水边的树旁。"}  

# 控制参数配置  
control_type = "none"  # 无需额外控制，需要时可设为"depth"  
negative_prompt = ""  

# 运行视频编辑流程  
generated_images = pipeline(  
    video_path="视频文件路径.mp4",        # 输入视频路径  
    video_prompt=inversion_prompt,    # 反转提示词  
    edit_prompt=generation_prompt,    # 生成编辑提示词  
    control_type=control_type         # 控制类型（如"none"/"depth"）  
)  

注意：如需更精细控制，建议创建配置文件并参考GitHub仓库说明。

应用场景：

• 内容创作者的零样本视频编辑
• 基于自然语言提示的视频风格转换
• 针对长视频/复杂场景的内存优化生成

模型作者:

• 李曦瑞
• 马超
• 杨晓康
• 杨铭桓

更多信息请访问GitHub仓库。