语言:

• 英文 许可证: apache-2.0 库名称: transformers 标签:
• llama-cpp
• gguf-my-repo 数据集:
• Open-Orca/OpenOrca 管道标签: 文本生成

munish0838/Mistral-7B-OpenOrca-Q4_K_M-GGUF

该模型是通过ggml.ai的GGUF-my-repo空间，使用llama.cpp从Open-Orca/Mistral-7B-OpenOrca转换而来的GGUF格式模型。更多关于该模型的详细信息，请参考原始模型卡片。

与llama.cpp一起使用

通过brew安装llama.cpp。

brew install ggerganov/ggerganov/llama.cpp

调用llama.cpp服务器或CLI。

CLI:

llama-cli --hf-repo munish0838/Mistral-7B-OpenOrca-Q4_K_M-GGUF --model mistral-7b-openorca.Q4_K_M.gguf -p "生命和宇宙的意义是"

服务器:

llama-server --hf-repo munish0838/Mistral-7B-OpenOrca-Q4_K_M-GGUF --model mistral-7b-openorca.Q4_K_M.gguf -c 2048

注意：你也可以直接通过Llama.cpp仓库中列出的使用步骤使用这个检查点。

git clone https://github.com/ggerganov/llama.cpp &&             cd llama.cpp &&             make &&             ./main -m mistral-7b-openorca.Q4_K_M.gguf -n 128