inference: false
license: llama2
pipeline_tag: video-text-to-text

LLaVA-Next-Video 模型卡片

模型详情

模型类型:


LLaVA-Next-Video 是一个开源的多模态对话模型，通过对大语言模型（LLM）进行多模态指令跟随数据的微调训练而成。该模型详情可参考：https://llava-vl.github.io/blog/2024-04-30-llava-next-video/


基础大语言模型：lmsys/vicuna-7b-v1.5

模型发布日期:


LLaVA-Next-Video-7B-DPO 训练于2024年4月。

论文或更多资源:


https://github.com/LLaVA-VL/LLaVA-NeXT

许可协议

Llama 2 采用 LLAMA 2 社区许可协议，
版权归 Meta Platforms, Inc. 所有。

模型问题反馈

https://github.com/LLaVA-VL/LLaVA-NeXT/issues

用途说明

主要用途:


LLaVA 主要用于大型多模态模型和对话系统的研究。

目标用户:


该模型主要面向计算机视觉、自然语言处理、机器学习及人工智能领域的研究人员和爱好者。

训练数据集

图像数据

• 来自 LAION/CC/SBU 的 558K 条过滤后图像-文本对，由 BLIP 生成描述。
• 158K 条 GPT 生成的多模态指令跟随数据。
• 500K 条学术任务导向的视觉问答（VQA）混合数据。
• 50K 条 GPT-4V 混合数据。
• 40K 条 ShareGPT 数据。

视频数据

• 100K 条 VideoChatGPT-Instruct 数据。
• 17K 条视频偏好数据：https://huggingface.co/datasets/ShareGPTVideo/train_video_and_instruction

评估数据集

包含 4 个基准测试集，其中 3 个为学术 VQA 基准，1 个为图像描述生成基准。