数据集:

• Lin-Chen/ShareGPT4V 任务类型: 图像转文本

模型说明

llava-llama-3-8b-v1_1是基于meta-llama/Meta-Llama-3-8B-Instruct和CLIP-ViT-Large-patch14-336模型，使用ShareGPT4V-PT和InternVL-SFT数据集，通过XTuner微调得到的LLaVA模型。

注意：该模型为GGUF格式。

相关资源：

• GitHub: xtuner
• HuggingFace LLaVA格式模型: xtuner/llava-llama-3-8b-v1_1-transformers
• 官方LLaVA格式模型: xtuner/llava-llama-3-8b-v1_1-hf
• XTuner LLaVA格式模型: xtuner/llava-llama-3-8b-v1_1

详细参数

性能表现

快速开始

下载模型

# mmproj投影器
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/llava-llama-3-8b-v1_1-mmproj-f16.gguf

# fp16精度LLM
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/llava-llama-3-8b-v1_1-f16.gguf

# int4量化LLM
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/llava-llama-3-8b-v1_1-int4.gguf

# (可选) ollama fp16模型文件
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/OLLAMA_MODELFILE_F16

# (可选) ollama int4模型文件
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/OLLAMA_MODELFILE_INT4

通过ollama对话

# fp16版本
ollama create llava-llama3-f16 -f ./OLLAMA_MODELFILE_F16
ollama run llava-llama3-f16 "xx.png 描述这张图片"

# int4版本
ollama create llava-llama3-int4 -f ./OLLAMA_MODELFILE_INT4
ollama run llava-llama3-int4 "xx.png 描述这张图片"

通过llama.cpp对话

1. 编译llama.cpp (文档)。
2. 编译./llava-cli (文档)。

注意：llava-llama-3-8b-v1_1使用Llama-3-instruct对话模板。

# fp16版本
./llava-cli -m ./llava-llama-3-8b-v1_1-f16.gguf --mmproj ./llava-llama-3-8b-v1_1-mmproj-f16.gguf --image 你的图片.jpg -c 4096 -e -p "<|start_header_id|>user<|end_header_id|>\n\n<image>\n描述这张图片<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"

# int4版本
./llava-cli -m ./llava-llama-3-8b-v1_1-int4.gguf --mmproj ./llava-llama-3-8b-v1_1-mmproj-f16.gguf --image 你的图片.jpg -c 4096 -e -p "<|start_header_id|>user<|end_header_id|>\n\n<image>\n描述这张图片<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"

复现方法

请参考文档。

引用

@misc{2023xtuner,
    title={XTuner: 高效微调大语言模型的工具包},
    author={XTuner贡献者},
    howpublished = {\url{https://github.com/InternLM/xtuner}},
    year={2023}
}