inference: false

LLaVA 模型卡片

模型详情

模型类型：
LLaVA 是一款开源聊天机器人，通过对 LLaMA/Vicuna 进行微调，基于 GPT 生成的多模态指令跟随数据训练而成。它是一款基于 Transformer 架构的自回归语言模型。

模型发布日期：
LLaVA-LLaMA-2-7B-Chat-LoRA-Preview 于 2023 年 7 月完成训练。

论文或更多信息参考：
https://llava-vl.github.io/

许可证

Llama 2 采用 LLAMA 2 社区许可证授权，
版权所有 (c) Meta Platforms, Inc. 保留所有权利。

模型问题或意见反馈渠道：
https://github.com/haotian-liu/LLaVA/issues

预期用途

主要用途：
LLaVA 的主要用途是研究大型多模态模型及聊天机器人。

主要目标用户：
该模型主要面向计算机视觉、自然语言处理、机器学习及人工智能领域的研究人员和爱好者。

训练数据集

• 来自 LAION/CC/SBU 的 558K 条过滤后图文对，由 BLIP 生成描述文本。
• 80K 条 GPT 生成的多模态指令跟随数据。

评估数据集

模型质量的初步评估通过构建 90 道视觉推理题完成，这些题目来自从 COCO val 2014 数据集中随机采样的 30 张独特图像，每张图像关联三类问题：对话型、细节描述型和复杂推理型。我们使用 GPT-4 对模型输出进行评判。
该模型同时在 ScienceQA 数据集上进行评估。我们与 GPT-4 的协同方法在该数据集上创造了最新最优性能。
更多细节详见：https://llava-vl.github.io/