pipeline_tag: 文本生成视频 license: 其他许可 license_link: 许可证文件

TrackDiffusion 模型卡片

请从此链接下载权重文件(https://huggingface.co/pengxiang/trackdiffusion_ytvis)。

TrackDiffusion是一种以目标轨迹为条件输入的扩散模型，可基于轨迹生成视频。

模型详情

模型描述

TrackDiffusion是一种创新的视频生成框架，通过将目标轨迹作为生成条件，实现了对视频合成中复杂动态的精细化控制。 该方法支持精确调控物体运动轨迹和交互行为，有效解决了物体出现/消失、尺度变化以及跨帧一致性等挑战。

使用场景

直接使用

我们提供了完整的UNet网络权重，您可将其集成至diffusers流程中，例如：

pretrained_model_path = "stabilityai/stable-video-diffusion-img2vid"
unet = UNetSpatioTemporalConditionModel.from_pretrained("/path/to/unet", torch_dtype=torch.float16,)
pipe = StableVideoDiffusionPipeline.from_pretrained(
    pretrained_model_path, 
    unet=unet,
    torch_dtype=torch.float16,
    variant="fp16",
    low_cpu_mem_usage=True)