许可协议：apache-2.0
推理支持：否

注意：此"增量模型"无法直接使用。
用户需将其叠加至原始LLaMA权重之上，方可获得实际可用的LLaVA权重。
具体操作指南参见：https://github.com/haotian-liu/LLaVA#llava-weights

LLaVA模型卡片

模型详情

模型类型：
LLaVA是基于LLaMA/Vicuna通过GPT生成的多模态指令跟随数据微调的开源聊天机器人，属于基于Transformer架构的自回归语言模型。

训练时间：
LLaVA-Lightning版本训练于2023年5月。

论文与资源：
https://llava-vl.github.io/

许可协议：
Apache 2.0许可证

问题反馈渠道：
https://github.com/haotian-liu/LLaVA/issues

使用范围

主要用途：
LLaVA主要用于多模态大模型及聊天机器人的学术研究。

目标用户：
计算机视觉、自然语言处理、机器学习及人工智能领域的研究者与爱好者。

训练数据

• 来自LAION/CC/SBU的558K经过滤图文对（由BLIP生成描述）
• 80K条GPT生成的多模态指令跟随数据

评估数据

模型质量通过以下方式初步评估：

1. 从COCO val 2014随机抽取30张图像构建90道视觉推理题集，每图对应三类问题：对话式、细节描述和复杂推理。采用GPT-4对模型输出进行评判。
2. 在ScienceQA数据集上的测试表明，与GPT-4的协同作用使该模型达到当前最优性能。 更多细节详见：https://llava-vl.github.io/