基础模型: THUDM/CogVideoX-5b
数据集: modal-labs/dissolve
库名称: diffusers
许可证: 其他
许可证链接: https://huggingface.co/THUDM/CogVideoX-5b/blob/main/LICENSE
实例提示: PIKA_DISSOLVE 一个纯净的雪球摆件，展现着冬日景色，静静地摆放着。球体突然猛烈爆炸，玻璃、水和闪亮的假雪向四面八方飞散。这一场景通过高速摄影捕捉下来。

示例:

• 文本: PIKA_DISSOLVE 一只精心制作的茶杯，位于深棕色圆形底座中央。这只看似由黏土制成的杯子从底部开始逐渐溶解。溶解过程迅速但不剧烈，形成一团浅棕色的细密尘埃，盘旋上升，几乎如幽灵般的柱状物向外扩展，然后缓慢下降。尘埃颗粒在漂浮时清晰可见，整体效果是细腻的分解而非破碎。最终，只剩下空荡荡的底座和花纹复杂的大理石地面。
  输出:
  url: "./assets/output_cup.mp4"

• 文本: PIKA_DISSOLVE 一个雕刻精美的木制面具静静地放置在一个古老的石坛上，从边缘开始逐渐碎裂。复杂的图案裂开并瓦解，释放出一缕红木色的烟雾状颗粒，向上飘舞，随后逐渐消散在寂静的空气中。尘埃落下后，曾经迷人的面具只剩下石坛上模糊的轮廓。
  输出:
  url: "./assets/output_altar.mp4"

• 文本: PIKA_DISSOLVE 一个细长的玻璃花瓶，装满了白色小石子，摆放在抛光的乌木台座上。毫无预兆地，玻璃从边缘开始向内溶解。半透明的尘埃优雅地盘旋上升，照亮每一颗落下的石子。轻柔飘散的尘埃最终沉淀，台座上只剩下散落的石子和微闪的粉末痕迹。
  输出:
  url: "./assets/output_vase.mp4"

• 文本: PIKA_DISSOLVE 一只优雅折叠的纸鹤停放在狭窄的大理石壁架上，表面有精致的墨线。它从尾羽开始向外碎裂，释放出一团羽毛般轻盈的纸浆纤维。纤维在魔幻般的旋涡中悬浮片刻，随后飘落，为壁架覆上一层近乎透明的白色薄纱。最终壁架空空如也，纸鹤的模糊轮廓仅存于记忆中。
  输出:
  url: "./assets/output_marble.mp4"

标签:

• 文本到视频
• diffusers训练
• diffusers
• cogvideox
• cogvideox-diffusers
• 模板:sd-lora

from diffusers import CogVideoXTransformer3DModel, DiffusionPipeline  
from diffusers.utils import export_to_video  
import torch  

transformer = CogVideoXTransformer3DModel.from_pretrained(  
    "sayakpaul/pika-dissolve-v0", torch_dtype=torch.bfloat16  
)  
pipeline = DiffusionPipeline.from_pretrained(  
    "THUDM/CogVideoX-5b", transformer=transformer, torch_dtype=torch.bfloat16  
).to("cuda")  

prompt = """  
PIKA_DISSOLVE 一个细长的玻璃花瓶，装满了白色小石子，摆放在抛光的乌木台座上。毫无预兆地，玻璃从边缘开始向内溶解。半透明的尘埃优雅地盘旋上升，照亮每一颗落下的石子。轻柔飘散的尘埃最终沉淀，台座上只剩下散落的石子和微闪的粉末痕迹。  
"""  
negative_prompt = "不一致的运动, 模糊的运动, 质量较差, 退化的输出, 变形的输出"  

video = pipeline(  
    prompt=prompt,  
    negative_prompt=negative_prompt,  
    num_frames=81,  
    height=512,  
    width=768,  
    num_inference_steps=50  
).frames[0]  
export_to_video(video, "output_vase.mp4", fps=25)