inference: false
pipeline_tag: image-text-to-text

ShareGPT4V-7B 模型卡片

模型详情

模型类型：
ShareGPT4V-7B 是一个开源聊天机器人，通过基于 GPT4-Vision 辅助的 ShareGPT4V 数据和 LLaVA 指令微调数据，对 CLP 视觉塔及 LLaMA/Vicuna 进行微调训练而成。

模型发布时间：
ShareGPT4V-7B 训练于 2023 年 11 月。

论文或更多资源：
[项目主页] [论文] [代码]

使用方法

您可以直接使用我们 [代码库] 中提供的模型。此外，您还可以通过将配置文件中的架构名称从 "Share4VLlamaForCausalLM" 修改为 "LLaVALlamaForCausalLM"，并将模型类型关键词从 "share4v" 改为 "llava"，从而在 [LLaVA 代码库] 中无缝加载我们的模型。

许可协议

Llama 2 基于 LLAMA 2 社区许可协议授权，版权所有 (c) Meta Platforms, Inc. 保留所有权利。

预期用途

主要预期用途：
ShareGPT4V-7B 的主要用途是研究大型多模态模型及聊天机器人。

主要目标用户：
该模型主要面向计算机视觉、自然语言处理、机器学习及人工智能领域的研究人员和爱好者。

训练数据集

• 120 万高质量图文对（即 ShareGPT4V-PT 数据）
• 10 万由 GPT4-Vision 生成的图文对
• LLaVA 指令微调数据

评估数据集

包含 11 项基准测试的集合