🚀 ibm-granite/granite-8b-code-instruct-4k-GGUF

这是原始模型 ibm-granite/granite-8b-code-instruct-4k 的 Q4_K_M 转换版本。如需更多详细信息，请参考 原始模型卡片。

🚀 快速开始

使用 llama.cpp

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# 安装
make

# 运行生成
./main -m granite-8b-code-instruct-4k-GGUF/granite-8b-code-instruct.Q4_K_M.gguf -n 128 -p "def generate_random(x: int):" --color

📚 详细文档

模型信息

模型评估结果

📄 许可证

本项目采用 Apache 2.0 许可证。