AIbase

X

Xclip Base Patch32

由 microsoft 开发
X-CLIP是CLIP的扩展版本，用于通用视频语言理解，通过对比学习在(视频，文本)对上训练，适用于视频分类和视频-文本检索等任务。
文本生成视频
Transformers
英语
开源协议:MIT#视频文本对比学习#零样本视频分类#多模态视频理解
下载量 309.80k
发布时间 : 8/25/2022
模型介绍
内容详情
替代品

模型简介

X-CLIP模型(基础尺寸，32x32的补丁分辨率)在Kinetics-400数据集上进行了全监督训练，可用于零样本、少样本或全监督的视频分类和视频-文本检索任务。

模型特点

视频语言理解
扩展了CLIP模型的能力，使其能够处理视频和文本的对比学习任务。
多任务支持
支持零样本、少样本或全监督的视频分类和视频-文本检索等多种任务。
高效训练
训练时使用每个视频8帧，分辨率为224x224，保证了训练效率。

模型能力

视频分类
视频-文本检索
零样本学习
少样本学习

使用案例

视频理解
视频分类
对视频内容进行分类，识别视频中的动作或场景。
在Kinetics-400数据集上达到80.4%的top-1准确率和95.0%的top-5准确率。
视频-文本检索
根据文本描述检索相关视频，或根据视频内容生成描述文本。