标签:

• 视觉语言模型
• 羊驼模型(LLaMA)
• 视频理解

LLaMA-VID模型卡片

模型详情

LLaMA-VID通过额外上下文令牌赋能现有框架，使其支持长达数小时的视频处理，并突破其性能上限。

模型类型:
LLaMA-VID是基于LLaMA/Vicuna微调的开源聊天机器人，采用GPT生成的多模态指令跟随数据进行训练。该模型通过扩展上下文令牌突破现有框架限制，使其具备超长视频处理能力。本项目基于LLaVA架构实现。

训练时间:
llama-vid-7b-full-224-video-fps-1版本完成于2023年11月。

许可协议

Llama 2采用LLAMA 2社区许可证，版权归Meta Platforms公司所有。

问题反馈渠道:
https://github.com/dvlab-research/LLaMA-VID/issues

使用范围

主要用途:
LLaMA-VID主要用于大型多模态模型及聊天机器人的学术研究。

目标用户:
计算机视觉、自然语言处理、机器学习及人工智能领域的研究人员与爱好者。

训练数据

本模型训练数据包含LLaVA-1.5数据集的图像数据，以及来自WebVid和ActivityNet数据集的视频数据，具体构成如下：

• 来自LAION/CC/SBU的558K过滤图像-文本对（通过BLIP生成描述）
• 158K由GPT生成的多模态指令跟随数据
• 450K学术任务导向的视觉问答混合数据
• 40K ShareGPT数据
• 从WebVid 2.5M数据集中采样的232K视频-描述对
• 来自ActivityNet的98K视频及Video-ChatGPT提供的问答对