语言:

• 英文
  许可证: mit
  标签:
• llava
  数据集:
• liuhaotian/LLaVA-Instruct-150K
• liuhaotian/LLaVA-Pretrain
  管道标签: 图像文本到文本

模型卡片

这是受LlaVA-Phi启发的Phi2模型多模态实现。

模型详情

1. 大语言模型主干: Phi2
2. 视觉模块: clip-vit-large-patch14-336
3. 预训练数据集: 带BLIP标注的LAION-CC-SBU数据集（20万样本）
4. 微调数据集: 基于COCO的15万指令数据集
5. 微调模型: RaviNaik/Llava-Phi2

模型来源

• 原始仓库: Llava-Phi
• 论文[可选]: LLaVA-Phi：高效的小型语言模型多模态助手
• 演示[可选]: 演示链接

快速开始

使用以下代码快速体验模型：

1. 克隆仓库并进入目录

git clone https://github.com/zhuyiche/llava-phi.git  
cd llava-phi  

2. 安装环境

conda create -n llava_phi python=3.10 -y  
conda activate llava_phi  
pip install --upgrade pip  # 启用PEP 660支持  
pip install -e .  

3. 运行模型

python llava_phi/eval/run_llava_phi.py --model-path="RaviNaik/Llava-Phi2" \  
    --image-file="https://huggingface.co/RaviNaik/Llava-Phi2/resolve/main/people.jpg?download=true" \  
    --query="图片中有多少人？"  

致谢

本实现基于以下优秀工作：
LlaVA-Phi
Llava
Phi2