inference: false
license: llama2
pipeline_tag: video-text-to-text

LLaVA-Next-Video 模型卡片

模型详情

模型类型:


LLaVA-Next-Video 是一款开源对话机器人，通过对多模态指令跟随数据进行大语言模型微调训练而成。
该模型详情参见: https://llava-vl.github.io/blog/2024-04-30-llava-next-video/


基础大语言模型: lmsys/vicuna-7b-v1.5

模型发布时间:


LLaVA-Next-Video-7B 训练于2024年4月。

论文或更多资源:


https://github.com/LLaVA-VL/LLaVA-NeXT

许可协议

Llama 2 采用 LLAMA 2 社区许可协议，
版权归 Meta Platforms, Inc. 所有。

模型问题反馈

https://github.com/LLaVA-VL/LLaVA-NeXT/issues

使用范围

主要用途:


LLaVA 主要用于大型多模态模型和对话机器人的研究。

目标用户:


该模型主要面向计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员及爱好者。

训练数据集

图像数据

• 来自 LAION/CC/SBU 的 558K 过滤图像-文本对，由 BLIP 生成描述
• 158K GPT 生成的多模态指令跟随数据
• 500K 学术任务导向的 VQA 混合数据
• 50K GPT-4V 混合数据
• 40K ShareGPT 数据

视频数据

• 100K VideoChatGPT-Instruct 数据

评估数据集

包含 4 个基准测试集，其中 3 个学术 VQA 基准和 1 个图像描述基准。