license: "cc-by-nc-4.0" tags:

• 视觉
• 视频分类

TimeSformer（基础尺寸模型，基于Kinetics-400微调）

TimeSformer模型基于Kinetics-400数据集预训练。该模型由Tong等人在论文《TimeSformer：时空注意力机制是否足以实现视频理解？》中提出，并首次发布于此代码库。

免责声明：发布TimeSformer的团队未为此模型编写说明卡片，本卡片由fcakyon撰写。

用途与限制

您可将该原始模型用于视频分类任务，将其归类至Kinetics-400数据集的400个可能类别之一。

使用方法

以下是如何使用该模型对视频进行分类的示例：

from transformers import AutoImageProcessor, TimesformerForVideoClassification
import numpy as np
import torch

video = list(np.random.randn(8, 3, 224, 224))

processor = AutoImageProcessor.from_pretrained("facebook/timesformer-base-finetuned-k400")
model = TimesformerForVideoClassification.from_pretrained("facebook/timesformer-base-finetuned-k400")

inputs = processor(video, return_tensors="pt")

with torch.no_grad():
  outputs = model(**inputs)
  logits = outputs.logits

predicted_class_idx = logits.argmax(-1).item()
print("预测类别:", model.config.id2label[predicted_class_idx])

更多代码示例，请参阅文档。

BibTeX条目及引用信息

@inproceedings{bertasius2021space,
  title={Is Space-Time Attention All You Need for Video Understanding?},
  author={Bertasius, Gedas and Wang, Heng and Torresani, Lorenzo},
  booktitle={International Conference on Machine Learning},
  pages={813--824},
  year={2021},
  organization={PMLR}
}