AIbase

X

Xclip Base Patch16 Ucf 2 Shot

由 microsoft 开发
X-CLIP是对CLIP的极简扩展，用于通用视频-语言理解。模型通过对比学习在（视频，文本）对上训练。
文本生成视频
Transformers
英语
开源协议:MIT#视频-文本对比学习#少样本视频分类#通用视频识别
下载量 51
发布时间 : 9/7/2022
模型介绍
内容详情
替代品

模型简介

X-CLIP模型（基础尺寸，16x16的块分辨率）在UCF101数据集上以少样本方式（K=2）训练而成，适用于视频分类及视频-文本检索任务。

模型特点

少样本学习能力
该模型在UCF101数据集上仅使用2个样本进行训练，展示了强大的少样本学习能力。
视频-语言理解
通过对比学习在（视频，文本）对上训练，支持视频与文本的联合理解。
通用视频识别
适用于多种视频识别任务，包括零样本、少样本和全监督的视频分类。

模型能力

视频分类
视频-文本检索
少样本学习

使用案例

视频分析
视频分类
对视频内容进行分类，识别视频所属类别。
在UCF101数据集上达到76.4%的top-1准确率。
视频-文本检索
根据文本描述检索相关视频，或根据视频内容生成描述文本。