X

Xclip Base Patch16

由 microsoft 开发
X-CLIP是CLIP的扩展版本,用于通用视频语言理解,通过对比学习在(视频,文本)对上训练,适用于视频分类和视频-文本检索等任务。
下载量 1,647
发布时间 : 9/7/2022

模型简介

X-CLIP模型(基础规模,16x16的补丁分辨率)在Kinetics-400上进行了全监督训练,适用于零样本、少样本或全监督的视频分类任务。

模型特点

视频语言理解
通过对比学习在(视频,文本)对上训练,支持视频与文本的匹配和理解。
多任务支持
适用于零样本、少样本或全监督的视频分类以及视频-文本检索等任务。
高性能
在Kinetics-400数据集上达到前1准确率83.8%,前5准确率95.7%。

模型能力

视频分类
视频-文本检索
零样本学习
少样本学习

使用案例

视频分析
视频内容分类
对视频内容进行分类,识别视频中的动作或场景。
在Kinetics-400数据集上达到83.8%的前1准确率。
视频-文本检索
根据文本描述检索相关视频,或根据视频内容生成描述文本。
AIbase
智启未来,您的人工智能解决方案智库
简体中文