inference: false license: apache-2.0 library_name: LLaVA pipeline_tag: image-text-to-text tags:

• llava

LLaVA 模型卡片

模型详情

模型类型：
LLaVA 是一个开源聊天机器人，通过对多模态指令跟随数据进行大语言模型微调训练而成。它采用基于Transformer架构的自回归语言模型。
基础大语言模型：NousResearch/Nous-Hermes-2-Yi-34B

模型发布时间：
LLaVA-v1.6-34B 训练于2023年12月。

论文或更多信息参考：
https://llava-vl.github.io/

许可证

遵循NousResearch/Nous-Hermes-2-Yi-34B许可证。

模型问题反馈渠道：
https://github.com/haotian-liu/LLaVA/issues

使用范围

主要用途：
LLaVA 主要用于大型多模态模型和聊天机器人的学术研究。

目标用户群体：
该模型主要面向计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员及爱好者。

训练数据集

• 来自LAION/CC/SBU的558K过滤图像-文本对，由BLIP生成描述
• 158K GPT生成的多模态指令跟随数据
• 500K学术任务导向的VQA混合数据
• 50K GPT-4V混合数据
• 40K ShareGPT数据

评估数据集

包含12个基准测试集：5个学术VQA基准和7个专为指令跟随型LMM提出的最新基准。