数据集：

• Lin-Chen/ShareGPT4V 任务类型：图像转文本

模型

llava-phi-3-mini 是基于 microsoft/Phi-3-mini-4k-instruct 和 CLIP-ViT-Large-patch14-336 微调的 LLaVA 模型，使用了 ShareGPT4V-PT 和 InternVL-SFT 数据集，通过 XTuner 进行训练。

注意：此模型为 GGUF 格式。

资源：

• GitHub: xtuner
• 官方 LLaVA 格式模型: xtuner/llava-phi-3-mini
• HuggingFace LLaVA 格式模型: xtuner/llava-phi-3-mini-hf
• XTuner LLaVA 格式模型: xtuner/llava-phi-3-mini-xtuner

详情

结果

快速开始

下载模型

# mmproj
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/llava-phi-3-mini-mmproj-f16.gguf

# fp16 llm
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/llava-phi-3-mini-f16.gguf

# int4 llm
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/llava-phi-3-mini-int4.gguf

# (可选) ollama fp16 模型文件
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/OLLAMA_MODELFILE_F16

# (可选) ollama int4 模型文件
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/OLLAMA_MODELFILE_INT4

通过 ollama 聊天

注意：llava-phi-3-mini 使用 Phi-3-instruct 聊天模板。

# fp16
ollama create llava-phi3-f16 -f ./OLLAMA_MODELFILE_F16
ollama run llava-phi3-f16 "xx.png 描述这张图片"

# int4
ollama create llava-phi3-int4 -f ./OLLAMA_MODELFILE_INT4
ollama run llava-phi3-int4 "xx.png 描述这张图片"

通过 ./llava-cli 聊天

1. 构建 llama.cpp (文档)。
2. 构建 ./llava-cli (文档)。

注意：llava-phi-3-mini 使用 Phi-3-instruct 聊天模板。

# fp16
./llava-cli -m ./llava-phi-3-mini-f16.gguf --mmproj ./llava-phi-3-mini-mmproj-f16.gguf --image 你的图片.jpg -c 4096

# int4
./llava-cli -m ./llava-phi-3-mini-int4.gguf --mmproj ./llava-phi-3-mini-mmproj-f16.gguf --image 你的图片.jpg -c 4096

复现

请参考 文档。

引用

@misc{2023xtuner,
    title={XTuner: 高效微调大语言模型的工具包},
    author={XTuner 贡献者},
    howpublished = {\url{https://github.com/InternLM/xtuner}},
    year={2023}
}