library_name: xtuner
tags:

• llama-cpp
• gguf-my-repo
  datasets:
• Lin-Chen/ShareGPT4V
  pipeline_tag: image-text-to-text

djward888/llava-llama-3-8b-v1_1-Q3_K_S-GGUF

该模型通过ggml.ai的GGUF-my-repo空间，使用llama.cpp从xtuner/llava-llama-3-8b-v1_1转换为GGUF格式。
关于模型的更多细节，请参考原始模型卡片。

使用llama.cpp

通过brew安装llama.cpp。

brew install ggerganov/ggerganov/llama.cpp  

调用llama.cpp服务器或CLI。

CLI:

llama-cli --hf-repo djward888/llava-llama-3-8b-v1_1-Q3_K_S-GGUF --model llava-llama-3-8b-v1_1.Q3_K_S.gguf -p "生命和宇宙的意义是"  

服务器:

llama-server --hf-repo djward888/llava-llama-3-8b-v1_1-Q3_K_S-GGUF --model llava-llama-3-8b-v1_1.Q3_K_S.gguf -c 2048  

注意：你也可以通过Llama.cpp仓库中列出的使用步骤直接使用这个检查点。

git clone https://github.com/ggerganov/llama.cpp && \  
cd llama.cpp && \  
make && \  
./main -m llava-llama-3-8b-v1_1.Q3_K_S.gguf -n 128