语言: 英语
许可证: MIT
标签:

• 视觉
• 视频分类

模型索引:

• 名称: nielsr/xclip-base-patch16-zero-shot
  结果:
  • 任务:
    类型: 视频分类
    数据集:
    名称: HMDB-51
    类型: hmdb-51
    指标:
    • 类型: top-1准确率
      值: 44.6
  • 任务:
    类型: 视频分类
    数据集:
    名称: UCF101
    类型: ucf101
    指标:
    • 类型: top-1准确率
      值: 72.0
  • 任务:
    类型: 视频分类
    数据集:
    名称: Kinetics-600
    类型: kinetics600
    指标:
    • 类型: top-1准确率
      值: 65.2

X-CLIP (基础尺寸模型)

X-CLIP模型(基础尺寸，16x16的补丁分辨率)在Kinetics-400上训练。该模型由Ni等人在论文Expanding Language-Image Pretrained Models for General Video Recognition中提出，并首次发布于此代码库。

该模型使用每段视频32帧，分辨率为224x224进行训练。

免责声明: 发布X-CLIP的团队未为此模型编写模型卡，因此本模型卡由Hugging Face团队编写。

模型描述

X-CLIP是CLIP的极简扩展，用于通用视频语言理解。该模型以对比方式在(视频，文本)对上训练。

这使得该模型可用于零样本、少样本或全监督视频分类以及视频-文本检索等任务。

预期用途与限制

您可以使用原始模型来确定文本与给定视频的匹配程度。请参阅模型中心查找您感兴趣任务的微调版本。

使用方法

代码示例请参考文档。

训练数据

该模型在Kinetics 400上训练。

预处理

训练期间的预处理细节可在此处找到。

验证期间的预处理细节可在此处找到。

在验证过程中，首先调整每帧的短边大小，然后进行中心裁剪至固定分辨率(如224x224)。接着，使用ImageNet的均值和标准差对各帧的RGB通道进行归一化。

评估结果

该模型在HMDB-51上实现了44.6%的零样本top-1准确率，在UCF-101上为72.0%，在Kinetics-600上为65.2%。