language:

• en license: llama2 pipeline_tag: video-text-to-text

LLaVA-NeXT-Video 模型卡片

也可查看Google Colab演示，在免费层级的Google Colab实例上运行Llava：

免责声明：发布LLaVa-NeXT-Video的团队未为此模型编写模型卡片，因此本模型卡片由Hugging Face团队编写。

📄 模型详情

模型类型： LLaVA-Next-Video是一个开源聊天机器人，通过在多模态指令跟随数据上微调LLM训练而成。该模型基于LLaVa-NeXT构建，通过在视频和图像数据的混合上进行调优，以获得更好的视频理解能力。视频均匀采样为每段32帧。 该模型目前在开源模型中处于VideoMME基准的领先地位。 基础LLM：lmsys/vicuna-7b-v1.5

模型日期： LLaVA-Next-Video-7B于2024年4月训练完成。

论文或更多信息： https://github.com/LLaVA-VL/LLaVA-NeXT

📚 训练数据集

图像

• 来自LAION/CC/SBU的558K过滤图像-文本对，由BLIP标注。
• 158K GPT生成的多模态指令跟随数据。
• 500K学术任务导向的VQA数据混合。
• 50K GPT-4V数据混合。
• 40K ShareGPT数据。

视频

• 100K VideoChatGPT-Instruct。

📊 评估数据集

包含4个基准测试的集合，包括3个学术VQA基准和1个字幕基准。