语言：英语
许可证：MIT
标签：

• 视觉
• 视频分类

模型索引：

• 名称：nielsr/xclip-large-patch14-16-frames
  结果：
  • 任务：
    类型：视频分类
    数据集：
    名称：Kinetics 400
    类型：kinetics-400
    指标：
    • 类型：Top-1准确率
      值：87.7
    • 类型：Top-5准确率
      值：97.4

X-CLIP（大型模型）

X-CLIP模型（大型，14像素块分辨率）在Kinetics-400上进行了全监督训练。该模型由Ni等人在论文《扩展语言-图像预训练模型以实现通用视频识别》中提出，并首次发布于此代码库。

该模型训练时每段视频使用16帧，分辨率为336x336。

免责声明：发布X-CLIP的团队未为此模型编写模型卡，因此本模型卡由Hugging Face团队撰写。

模型描述

X-CLIP是对CLIP的极简扩展，用于通用视频-语言理解。模型通过（视频，文本）对的对比方式进行训练。

这使得模型可用于零样本、少样本或全监督的视频分类及视频-文本检索任务。

预期用途与限制

您可将原始模型用于评估文本与给定视频的匹配程度。访问模型中心寻找您感兴趣任务的微调版本。

使用方法

代码示例请参阅文档。

训练数据

该模型在Kinetics-400上训练。

预处理

训练期间的详细预处理步骤见此处。

验证期间的详细预处理步骤见此处。

验证时，每帧的短边会被调整大小，随后进行中心裁剪至固定分辨率（如224x224）。接着，使用ImageNet的均值和标准差对RGB通道进行归一化。

评估结果

该模型Top-1准确率达87.7%，Top-5准确率达97.4%。