license: mit pipeline_tag: video-classification

简介

本代码库包含论文InternVideo2第二阶段训练的6B参数量模型。

代码地址：https://github.com/OpenGVLab/InternVideo/tree/main/InternVideo2/multi_modality

🚀 安装指南

请参阅安装文档：https://github.com/OpenGVLab/InternVideo/blob/main/InternVideo2/multi_modality/INSTALL.md

使用示例

import cv2
from transformers import AutoModel
from modeling_internvideo2 import (retrieve_text, vid2tensor, _frame_from_video,)


# 加载预训练模型
model = AutoModel.from_pretrained("OpenGVLab/InternVideo2-Stage2_6B", trust_remote_code=True).eval()

# 视频内容分析示例
video = cv2.VideoCapture('example1.mp4')
frames = [x for x in _frame_from_video(video)]
text_candidates = ["雪地里，一只顽皮的狗和主人在院子里嬉戏打闹，欢快地追逐着彼此。",
                "穿着灰色外套的男子在雪地中行走，拖着一个装满玩具的雪橇。",
                "身着蓝色夹克的人正在屋外铲除人行道上的积雪。",
                "一只猫兴奋地在院子里奔跑，追逐着一只兔子。",
                "裹着毯子的人在雪地中漫步，欣赏着宁静的冬日景色。"]

# 执行文本检索
texts, probs = retrieve_text(frames, text_candidates, model=model, topk=5)
for t, p in zip(texts, probs):
    print(f'文本: {t} ~ 概率: {p:.4f}')

# 提取视频特征
vidtensor = vid2tensor('example1.mp4', fnum=4)
feat = model.get_vid_feat(vidtensor)