{}

LLaMA-3-V：通过Meta-Llama-3-8B-Instruct扩展LLaVA的视觉能力

仓库概述

本仓库展示了基于Meta-Llama-3-8B-Instruct大语言模型训练的LLaVA v1.5版本。该整合旨在结合两种模型的优势，提供先进的视觉-语言理解能力。

训练策略

• 预训练阶段： 仅训练视觉到语言的投影器，模型其余部分保持冻结状态
• 微调阶段： 采用LoRA技术对大语言模型进行微调，仅视觉骨干网络（CLIP）保持冻结
• 注意： 本仓库包含已合并的权重文件

核心组件

• 基础大语言模型(LLM)： Meta-Llama-3-8B-Instruct
• 基础多模态大模型(LMM)： LLaVA-v1.5

训练数据

• 预训练数据集： LCS-558K
• 微调数据集： LLaVA-Instruct-665K

下载方式

git lfs install
git clone https://huggingface.co/MBZUAI/LLaVA-Meta-Llama-3-8B-Instruct

贡献指南

欢迎贡献代码！如果您觉得本模型有用，请为我们的仓库LLaVA++点亮🌟