AIbase

X

Xclip Base Patch16 Ucf 4 Shot

由 microsoft 开发
X-CLIP是CLIP的最小扩展，用于通用视频语言理解，通过（视频，文本）对的对比方式进行训练。
视频处理
Transformers
英语
开源协议:MIT#视频-文本对比学习#少样本视频分类#多模态理解
下载量 16
发布时间 : 9/7/2022
模型介绍
内容详情
替代品

模型简介

X-CLIP模型（基础规模，16x16的补丁分辨率）以少样本方式（K=4）在UCF101上训练，可用于零样本、少样本或全监督的视频分类及视频-文本检索任务。

模型特点

少样本学习
模型在UCF101数据集上以少样本方式（K=4）训练，适用于数据稀缺的场景。
视频-文本对比学习
通过（视频，文本）对的对比方式进行训练，支持视频与文本的匹配任务。
通用视频识别
模型可用于零样本、少样本或全监督的视频分类及视频-文本检索任务。

模型能力

视频分类
视频-文本检索
零样本学习
少样本学习

使用案例

视频理解
视频分类
对视频内容进行分类，适用于UCF101数据集中的101个动作类别。
前1准确率达到83.4%
视频-文本检索
根据文本描述检索相关视频，或根据视频内容生成匹配的文本描述。