inference: false
license: apache-2.0
pipeline_tag: image-text-to-text

LLaVA 模型卡片

模型详情

模型类型：
LLaVA 是一个通过在多模态指令跟随数据上微调大语言模型（LLM）训练而成的开源聊天机器人。它基于 transformer 架构，属于自回归语言模型。
基础大语言模型：mistralai/Mistral-7B-Instruct-v0.2

模型发布时间：
LLaVA-v1.6-Mistral-7B 训练于 2023 年 12 月。

论文或更多信息参考：
https://llava-vl.github.io/

许可协议

采用 mistralai/Mistral-7B-Instruct-v0.2 的许可协议。

模型问题或意见反馈渠道：
https://github.com/haotian-liu/LLaVA/issues

用途说明

主要用途：
LLaVA 的主要用途是研究大型多模态模型和聊天机器人。

目标用户群体：
该模型主要面向计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员及爱好者。

训练数据集

• 来自 LAION/CC/SBU 的 558K 条经 BLIP 标注的过滤后图文对
• 158K 条 GPT 生成的多模态指令跟随数据
• 500K 条学术任务导向的视觉问答（VQA）混合数据
• 50K 条 GPT-4V 混合数据
• 40K 条 ShareGPT 数据

评估数据集

包含 12 个基准测试集，其中 5 个为学术 VQA 基准，7 个是专为指令跟随型多模态模型（LMM）设计的最新基准。