许可协议: cc-by-nc-4.0 数据集:

• WenhaoWang/VidProM 语言:
• 英文 任务标签: 文本生成 标签:
• 文生视频生成
• VidProM
• 自动文生视频提示词生成

首个自动文生视频提示词补全模型：输入少量词语即可生成完整文生视频提示词

详情

本模型基于Mistral-7B-v0.1架构，使用8块A100显卡在VidProM数据集上微调而成。

使用指南

下载模型

from transformers import pipeline
import torch
pipe = pipeline("text-generation", model="WenhaoWang/AutoT2VPrompt", model_kwargs={"torch_dtype": torch.bfloat16}, device_map="cuda:0")

参数设置

input = "水下世界"      # 用于生成视频提示词的输入文本
max_length = 50        # 生成文本的最大长度
temperature = 1.2      # 控制生成随机性，数值越高输出越随机
top_k = 8              # 每个步骤仅考虑概率最高的k个候选词
num_return_sequences = 10  # 基于相同输入生成的不同提示词数量

生成示例

all_prompts = pipe(input, max_length=max_length, do_sample=True, temperature=temperature, top_k=top_k, num_return_sequences=num_return_sequences)

def process(text):
    text = text.replace('\n', '.')
    text = text.replace('  .', '.')
    text = text[:text.rfind('.')]
    text = text + '.'
    return text

for i in range(num_return_sequences):
    print(process(all_prompts[i]['generated_text']))

您将获得10条文生视频提示词，可挑选最满意的一条：

水下世界，25岁少年，碧绿眼眸，暗金色短发背影，背上驮着一条鱼，23岁戴眼镜的卡通角色。
水下世界，视频应捕捉宁静本质与自然之美..短发女子身着绿裙坐在办公桌前。
水下世界，海洋布满废弃物品，水流涌动，光线穿透水面。
水下世界..红瞳朱唇的女子向前凝望。
水下世界..老人坐在椅子上抽烟斗，椅背飘出缕缕轻烟，男子正举杯饮酒。
水下世界。充满生物荧光的海水反射出柔和的磷光，镜头缓缓拉远并推近..
水下世界。女孩面向镜头绽放幸福笑容..
水下世界，1960年代恐怖电影风格..
水下世界..四名1940年代装束的男子漫步哥特城堡。夜色中，少女沿河奔跑，岸边繁花盛开。
水下世界，镜头缓缓上摇。晴日公园里女孩与猫嬉戏，男子奔跑时突然跌倒身亡。

许可协议

本模型采用CC BY-NC 4.0知识共享许可。

引用文献

@article{wang2024vidprom,
  title={VidProM：面向文生视频扩散模型的百万级真实提示词库数据集},
  author={王闻浩, 杨易},
  journal={arXiv预印本 arXiv:2403.06098},
  year={2024}
}

致谢

微调过程得到郑耀威的协助。

联系方式

如有疑问请联系王闻浩 (wangwenhao0716@gmail.com)。