AIbase

X

Xclip Base Patch16 Kinetics 600 16 Frames

由 microsoft 开发
X-CLIP是对CLIP的扩展，用于通用视频语言理解，支持零样本、少样本或全监督的视频分类以及视频-文本检索等任务。
文本生成视频
Transformers
英语
开源协议:MIT#视频文本对比学习#零样本视频分类#多模态视频理解
下载量 393
发布时间 : 9/8/2022
模型介绍
内容详情
替代品

模型简介

X-CLIP模型（基础尺寸，16x16的补丁分辨率）在Kinetics-600数据集上进行了全监督训练，主要用于视频分类和视频-文本检索任务。

模型特点

视频语言理解
通过对比方式在（视频，文本）对上训练，支持视频与文本的匹配任务。
高准确率
在Kinetics 400数据集上，前1准确率达到85.8%，前5准确率达到97.3%。
多任务支持
可用于零样本、少样本或全监督的视频分类以及视频-文本检索等任务。

模型能力

视频分类
视频-文本检索
零样本学习
少样本学习

使用案例

视频分析
视频分类
对视频内容进行分类，识别视频中的动作或场景。
前1准确率85.8%，前5准确率97.3%
视频-文本检索
根据文本描述检索相关视频，或根据视频内容生成描述文本。