标签:

• llava 管道标签: 图像-文本到文本

推理: false

LLaVA 模型卡片

模型详情

模型类型: LLaVA 是一个开源聊天机器人，通过对 LLaMA/Vicuna 在 GPT 生成的多模态指令跟随数据上进行微调训练而成。它是一个基于 Transformer 架构的自回归语言模型。

模型日期: LLaVA-v1.5-13B 训练于 2023 年 9 月。

论文或更多信息参考: https://llava-vl.github.io/

许可证

Llama 2 遵循 LLAMA 2 社区许可证， 版权所有 (c) Meta Platforms, Inc. 保留所有权利。

关于模型的问题或意见反馈渠道: https://github.com/haotian-liu/LLaVA/issues

预期用途

主要预期用途: LLaVA 的主要用途是研究大型多模态模型和聊天机器人。

主要目标用户: 该模型的主要目标用户是计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员和爱好者。

训练数据集

• 来自 LAION/CC/SBU 的 558K 条经过筛选的图像-文本对，由 BLIP 生成标题。
• 158K 条 GPT 生成的多模态指令跟随数据。
• 450K 条学术任务导向的 VQA 数据混合集。
• 40K 条 ShareGPT 数据。

评估数据集

包含 12 个基准测试的集合，其中 5 个是学术 VQA 基准测试，7 个是专门为指令跟随 LMM 提出的最新基准测试。

llava-v1.5-13b-GGUF

此仓库包含 GGUF 文件，用于通过 llama.cpp 端到端推理 llava-v1.5-13b，无需任何额外依赖。 由 twobob 发起 注意: mmproj-model-f16.gguf 文件结构是实验性的，可能会发生变化。请始终使用 llama.cpp 中的最新代码。

感谢 @mys