license: other license_name: cogvlm2 license_link: https://huggingface.co/THUDM/cogvlm2-video-llama3-chat/blob/main/LICENSE

language:

• en pipeline_tag: text-generation tags:
• chat
• cogvlm2
• cogvlm--video

inference: false

CogVLM2-Video-Llama3-Chat

中文版本README

模型介绍

CogVLM2-Video在多项视频问答任务中实现了最先进的性能表现，能在一分钟内完成视频理解。我们提供了两个示例视频展示CogVLM2-Video的视频理解与时间定位能力。

性能基准

下图展示了CogVLM2-Video在MVBench、VideoChatGPT-Bench以及零样本视频问答数据集(MSVD-QA, MSRVTT-QA, ActivityNet-QA)上的表现。其中VCG-*代表VideoChatGPTBench，ZS-*代表零样本视频问答数据集，MV-*代表MVBench主要类别。

VideoChatGPT-Bench与零样本视频问答数据集表现：

MVBench数据集表现：

评估细节

我们遵循先前工作的方法评估模型性能。针对不同基准，我们设计了特定任务提示词：

# MVBench提示词
prompt = f"请仔细观察视频，重点关注事件因果与时序关系、物体细节与运动轨迹、人物动作与姿态。根据观察结果，选择最准确回答问题的选项。\n" + f"{prompt.replace('简短回答。', '')}\n" + "简短回答："
# VideoChatGPT-Bench提示词
prompt = f"请仔细观察视频，重点关注事件因果与时序关系、物体细节与运动轨迹、人物动作与姿态。根据观察结果，全面回答下列问题。答案需详尽覆盖所有相关方面\n" + f"{prompt.replace('简短回答。', '')}\n" + "回答："
# 零样本视频问答提示词
prompt = f"输入包含视频关键帧序列。请全面回答问题，涵盖所有可能描述事件的动词和名词，并说明贯穿各帧的重要事件、角色或物体。\n" + f"{prompt.replace('简短回答。', '')}\n" + "回答："

评估代码请参考PLLaVA的评估脚本。

使用说明

本仓库为chat版本模型，支持单轮对话。

您可以通过我们GitHub上的视频演示快速安装Python依赖并运行模型推理。

许可协议

本模型遵循CogVLM2许可协议。基于Meta Llama 3构建的模型还需遵守LLAMA3许可协议。

训练细节

具体训练公式与超参数设置请参阅我们的技术报告。