🚀 Phi-3-V：借助Phi-3扩展LLaVA的视觉能力

本项目旨在通过将Phi-3-mini-3.8B大语言模型与LLaVA v1.5相结合，充分发挥两个模型的优势，为用户提供更先进的视觉语言理解能力。

🚀 快速开始

你可以按照以下命令下载本项目：

git lfs install
git clone https://huggingface.co/MBZUAI/LLaVA-Phi-3-mini-4k-instruct

✨ 主要特性

• 本仓库提供了使用Phi-3-mini-3.8B大语言模型训练的LLaVA v1.5。
• 结合了两个模型的优势，提供先进的视觉语言理解能力。

🔧 技术细节

训练策略

• 预训练：仅对视觉到语言的投影器进行训练，模型的其余部分保持冻结。
• 微调：对大语言模型（LLM）进行LoRA微调，仅保持视觉骨干网络（CLIP）冻结。
• 注意：仓库中包含合并后的权重。

关键组件

• 基础大语言模型（LLM）：Phi-3-mini-4k-instruct
• 基础大型多模态模型（LMM）：LLaVA-v1.5

训练数据

• 预训练数据集：LCS-558K
• 微调数据集：LLaVA-Instruct-665K

📄 许可证

本项目采用MIT许可证。

💡 使用建议

如果您觉得这个模型有用，请给我们的仓库 LLaVA++ 点个星🌟。同时，欢迎您为项目做出贡献！