library_name: xtuner tags:

• llama-cpp
• gguf-my-repo datasets:
• Lin-Chen/ShareGPT4V pipeline_tag: image-text-to-text

djward888/llava-llama-3-8b-v1_1-Q5_K_M-GGUF

该模型是通过ggml.ai的GGUF-my-repo空间，使用llama.cpp将xtuner/llava-llama-3-8b-v1_1转换为GGUF格式。关于模型的更多详情，请参考原始模型卡片。

与llama.cpp一起使用

通过brew安装llama.cpp。

brew install ggerganov/ggerganov/llama.cpp

调用llama.cpp服务器或CLI。

CLI:

llama-cli --hf-repo djward888/llava-llama-3-8b-v1_1-Q5_K_M-GGUF --model llava-llama-3-8b-v1_1.Q5_K_M.gguf -p "生命和宇宙的意义是"

Server:

llama-server --hf-repo djward888/llava-llama-3-8b-v1_1-Q5_K_M-GGUF --model llava-llama-3-8b-v1_1.Q5_K_M.gguf -c 2048

注意：你也可以直接通过Llama.cpp仓库中列出的使用步骤使用这个检查点。

git clone https://github.com/ggerganov/llama.cpp &&             cd llama.cpp &&             make &&             ./main -m llava-llama-3-8b-v1_1.Q5_K_M.gguf -n 128