许可协议：apache-2.0
推理支持：否

注意：此"增量模型"无法直接使用。
用户需将其叠加至原始LLaMA权重之上才能获得实际可用的LLaVA权重。
操作指南详见：https://github.com/haotian-liu/LLaVA#llava-weights

LLaVA模型卡片

模型详情

模型类型：
LLaVA是基于LLaMA/Vicuna通过GPT生成的多模态指令跟随数据微调的开源聊天机器人，采用自回归语言模型架构，基于Transformer框架构建。

训练时间：
2023年4月完成训练

论文与资源：
https://llava-vl.github.io/

许可协议：
Apache 2.0许可证

问题反馈渠道：
https://github.com/haotian-liu/LLaVA/issues

使用范围

主要用途：
LLaVA主要用于大型多模态模型及聊天机器人的学术研究。

目标用户：
计算机视觉、自然语言处理、机器学习及人工智能领域的研究者与爱好者。

训练数据

• 从CC3M数据集中筛选的59.5万图文对
• 15万条GPT生成的多模态指令跟随数据

评估方案

初步评估：
从COCO val 2014数据集中随机选取30张图像，针对每张图像生成三类问题（对话式/细节描述/复杂推理），共构建90道视觉推理题集。采用GPT-4对模型输出进行评判。

科学问答评估：
在ScienceQA数据集测试中，本模型与GPT-4的协同表现刷新了该数据集的最优记录。
更多细节参见：https://llava-vl.github.io/