数据集:

• HuggingFaceM4/vatex 语言:
• 英语 评估指标:
• 双语评估替补（BLEU）
• 流星（METEOR）
• 胭脂（ROUGE） 管道标签: 视频文本到文本 推理: 是 标签:
• 视频字幕 模型索引:
• 名称: Caelen 结果:
  • 任务: 类型: 视频字幕 数据集: 类型: 视频字幕 名称: VATEX 指标:
    • 名称: CIDEr 类型: 图像字幕 值: 67.3 已验证: 否

时空GPT - 视频字幕模型

(部分图表来自1, 2, 3)

时空GPT是一个能够进行空间和时间推理的视频描述生成模型。给定一个视频，模型会采样并分析八帧画面。输出是通过自回归生成的视频中发生事件的句子描述。

架构与训练

视觉编码器: timesformer-base-finetuned-k600
文本解码器: gpt2

编码器和解码器分别使用预训练权重进行视频分类和句子完成的初始化。编码器-解码器交叉注意力用于统一视觉和语言领域。该模型在视频字幕任务上进行了端到端的微调。详情请见GitHub仓库。

示例推理代码:

import av
import numpy as np
import torch
from transformers import AutoImageProcessor, AutoTokenizer, VisionEncoderDecoderModel

device = "cuda" if torch.cuda.is_available() else "cpu"

# 加载预训练的处理器、分词器和模型
image_processor = AutoImageProcessor.from_pretrained("MCG-NJU/videomae-base")
tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = VisionEncoderDecoderModel.from_pretrained("Neleac/timesformer-gpt2-video-captioning").to(device)

# 加载视频
video_path = "never_gonna_give_you_up.mp4"
container = av.open(video_path)

# 从视频中提取均匀分布的帧
seg_len = container.streams.video[0].frames
clip_len = model.config.encoder.num_frames
indices = set(np.linspace(0, seg_len, num=clip_len, endpoint=False).astype(np.int64))
frames = []
container.seek(0)
for i, frame in enumerate(container.decode(video=0)):
    if i in indices:
        frames.append(frame.to_ndarray(format="rgb24"))

# 生成字幕
gen_kwargs = {
    "min_length": 10, 
    "max_length": 20, 
    "num_beams": 8,
}
pixel_values = image_processor(frames, return_tensors="pt").pixel_values.to(device)
tokens = model.generate(pixel_values, **gen_kwargs)
caption = tokenizer.batch_decode(tokens, skip_special_tokens=True)[0]
print(caption) # 一个男人和一个女人在镜子前的舞台上跳舞。

作者信息:

👾 Discord
🐙 GitHub
🤝 LinkedIn