推理: 关闭

ViP-LLaVA 模型卡片

模型详情

模型类型: ViP-LLaVA 是一款开源聊天机器人，通过对 LLaMA/Vicuna 进行图像级别指令数据和带有视觉提示标注的区域级别指令数据的微调训练而成。 它是一款基于 Transformer 架构的自回归语言模型。

模型日期: ViP-LLaVA-7B 于 2023 年 11 月训练完成。论文

论文或更多信息参考: https://vip-llava.github.io/

许可协议

Llama 2 采用 LLAMA 2 社区许可协议， 版权所有 (c) Meta Platforms, Inc. 保留所有权利。

模型问题或意见反馈渠道: https://github.com/mu-cai/ViP-LLaVA/issues

预期用途

主要预期用途: ViP-LLaVA 主要用于大型多模态模型和聊天机器人的研究。

主要目标用户: 该模型主要面向计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员和爱好者。

训练数据集

• 来自 LAION/CC/SBU 的 558K 条经过滤的图像-文本对，由 BLIP 生成描述
• 来自 LLaVA-1.5 的 665K 条图像级别指令数据
• 520K 条带有视觉标记的图像-文本对
• 由 GPT-4V 生成的 13K 条区域级别指令数据

评估数据集

ViP-LLaVA 在 4 个学术区域级基准测试和我们新提出的 RegionBench 中实现了最先进的性能。