许可协议：apache-2.0
推理支持：否

注意：此"增量模型"无法直接使用。
用户需将其叠加至原始LLaMA权重之上，才能获得实际可用的LLaVA权重。
具体操作指南请参阅：https://github.com/haotian-liu/LLaVA#llava-weights

LLaVA模型卡片

模型详情

模型类型：
LLaVA是基于LLaMA/Vicuna通过GPT生成的多模态指令跟随数据微调的开源聊天机器人，属于基于Transformer架构的自回归语言模型。

训练时间：
2023年4月完成训练

论文与资源：
https://llava-vl.github.io/

许可协议：
Apache 2.0许可证

问题反馈渠道：
https://github.com/haotian-liu/LLaVA/issues

使用范围

主要用途：
用于多模态大模型及聊天机器人的学术研究

目标用户：
计算机视觉、自然语言处理、机器学习及人工智能领域的研究者与爱好者

训练数据

• 从CC3M数据集筛选的59.5万图文对
• 15万条GPT生成的多模态指令跟随数据

评估方案

初步评估：
从COCO val 2014随机选取30张图像，针对每张图像生成三类问题（对话型、细节描述型、复杂推理型），共构建90道视觉推理问答题。使用GPT-4对模型输出进行质量评判。

科学问答评估：
在ScienceQA数据集上，本模型与GPT-4的协同表现刷新了该数据集的最优成绩。
更多细节详见：https://llava-vl.github.io/