语言: 英语
许可证: MIT
标签:

• 视觉
• 视频分类
  模型索引:
• 名称: nielsr/xclip-base-patch16-hmdb-4-shot
  结果:
  • 任务:
    类型: 视频分类
    数据集:
    名称: HMDB-51
    类型: hmdb-51
    指标:
    • 类型: 前1准确率
      值: 57.3

X-CLIP (基础尺寸模型)

X-CLIP模型(基础尺寸，16像素块分辨率)在HMDB-51上以少样本方式(K=4)训练。该模型由Ni等人在论文扩展语言-图像预训练模型用于通用视频识别中提出，并首次发布于此代码库。

该模型训练时每视频使用32帧，分辨率为224x224。

免责声明: 发布X-CLIP的团队未为此模型编写模型卡，故本模型卡由Hugging Face团队撰写。

模型描述

X-CLIP是CLIP的极简扩展，用于通用视频语言理解。模型通过(视频，文本)对的对比方式进行训练。

这使得模型可用于零样本、少样本或全监督视频分类及视频-文本检索等任务。

预期用途与限制

您可将原始模型用于评估文本与给定视频的匹配程度。查看模型中心寻找您感兴趣任务的微调版本。

使用方法

代码示例请参阅文档。

训练数据

该模型在HMDB-51上训练。

预处理

训练期间预处理的具体细节见此处。

验证期间预处理的具体细节见此处。

验证时，每帧短边调整大小后，进行中心裁剪至固定分辨率(如224x224)。随后，使用ImageNet均值和标准差对RGB通道进行归一化。

评估结果

该模型达到前1准确率57.3%。