inference: false
pipeline_tag: image-text-to-text

LLaVA 模型卡片

模型详情

模型类型:
LLaVA 是一个开源聊天机器人，通过对 LLaMA/Vicuna 模型在 GPT 生成的多模态指令跟随数据上进行微调训练而成。它是一个基于 Transformer 架构的自回归语言模型。

模型日期:
LLaVA-v1.5-7B-LoRA 训练于 2023 年 10 月。

论文或更多信息参考:
https://llava-vl.github.io/

许可证

Llama 2 采用 LLAMA 2 社区许可证授权，版权归 Meta Platforms, Inc. 所有。

模型问题或意见反馈渠道:
https://github.com/haotian-liu/LLaVA/issues

预期用途

主要预期用途:
LLaVA 的主要用途是研究大型多模态模型和聊天机器人。

主要目标用户:
该模型主要面向计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员及爱好者。

训练数据集

• 来自 LAION/CC/SBU 的 558K 条过滤后图像-文本对，由 BLIP 生成描述。
• 158K 条 GPT 生成的多模态指令跟随数据。
• 450K 条学术任务导向的 VQA 混合数据。
• 40K 条 ShareGPT 数据。

评估数据集

包含 12 个基准测试集，其中 5 个为学术 VQA 基准，7 个为近期专为指令跟随型 LMM 提出的基准。