🚀 X-CLIP (基础尺寸模型)

X-CLIP是一个用于通用视频语言理解的模型，在视频分类和视频文本检索等任务中表现出色。它基于CLIP进行了扩展，通过在（视频，文本）对上进行对比训练，能够实现零样本、少样本或全监督的视频分类。

🚀 快速开始

X-CLIP模型（基础尺寸，补丁分辨率为16）在 Kinetics-400 数据集上进行训练。该模型由Ni等人在论文 Expanding Language-Image Pretrained Models for General Video Recognition 中提出，并首次在 此仓库 中发布。

此模型在训练时每个视频使用32帧，分辨率为224x224。

免责声明：发布X-CLIP的团队并未为此模型撰写模型卡片，此模型卡片由Hugging Face团队撰写。

✨ 主要特性

• 通用视频语言理解：X-CLIP是 CLIP 的扩展，用于通用视频语言理解。模型在（视频，文本）对上进行对比训练。
• 多任务支持：可用于零样本、少样本或全监督的视频分类以及视频文本检索等任务。

📚 详细文档

预期用途与限制

你可以使用原始模型来判断给定视频与文本的匹配程度。请查看 模型中心 以查找针对你感兴趣的任务进行微调的版本。

使用方法

有关代码示例，请参考 文档。

训练数据

此模型在 Kinetics 400 数据集上进行训练。

预处理

训练期间预处理的确切细节可在 此处 找到。

验证期间预处理的确切细节可在 此处 找到。

在验证期间，会调整每一帧的短边大小，然后进行中心裁剪以达到固定的分辨率（如224x224）。接下来，使用ImageNet的均值和标准差在RGB通道上对帧进行归一化处理。

评估结果

此模型在HMDB - 51数据集上的零样本top - 1准确率达到44.6%，在UCF - 101数据集上达到72.0%，在Kinetics - 600数据集上达到65.2%。

📄 许可证

本项目采用MIT许可证。