标签:

• 量化
• 2比特
• 3比特
• 4比特
• 5比特
• 6比特
• 8比特
• GGUF格式
• 转换器
• 安全张量
• gguf
• 羊驼模型
• 文本生成
• 许可协议:cc-by-sa-4.0
• 兼容自动训练
• 兼容终端
• 有空间
• 文本生成推理
• 地区:美国 模型名称: sqlcoder-7b-2-GGUF 基础模型: defog/sqlcoder-7b-2 推理: 禁用 模型创建者: defog 流水线标签: 文本生成 量化者: MaziyarPanahi

MaziyarPanahi/sqlcoder-7b-2-GGUF

• 模型创建者: defog
• 原始模型: defog/sqlcoder-7b-2

模型描述

MaziyarPanahi/sqlcoder-7b-2-GGUF 包含 defog/sqlcoder-7b-2 的GGUF格式模型文件。

使用方法

感谢 TheBloke 准备了详细的GGUF模型使用指南：

关于GGUF格式

GGUF是由llama.cpp团队于2023年8月21日推出的新格式，用于替代已停止支持的GGML格式。

以下是部分已知支持GGUF的客户端和库：

• llama.cpp - GGUF的源项目，提供CLI和服务端选项
• text-generation-webui - 最流行的Web UI，支持GPU加速
• KoboldCpp - 全功能Web UI，跨平台GPU加速
• GPT4All - 免费开源的本地GUI，支持多平台
• LM Studio - 易用的本地GUI，支持Windows/macOS
• LoLLMS Web UI - 功能丰富的Web UI
• Faraday.dev - 角色聊天GUI
• llama-cpp-python - Python库
• candle - Rust ML框架
• ctransformers - Python库

量化方法说明

pip3 install huggingface-hub

huggingface-cli download MaziyarPanahi/sqlcoder-7b-2-GGUF sqlcoder-7b-2-GGUF.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

llama.cpp使用示例

确保使用d0cee0d或更新版本：

./main -ngl 35 -m sqlcoder-7b-2-GGUF.Q4_K_M.gguf --color -c 32768 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant"

调整-ngl参数设置GPU卸载层数，-c设置序列长度。

Python代码示例

安装llama-cpp-python

根据系统选择安装命令：

# 基础安装
pip install llama-cpp-python
# CUDA加速
CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python
# 其他加速选项...

使用示例

from llama_cpp import Llama

llm = Llama(
  model_path="./sqlcoder-7b-2-GGUF.Q4_K_M.gguf",
  n_ctx=32768,
  n_threads=8,
  n_gpu_layers=35
)

output = llm(
  "<|im_start|>system\n{system_message}<|im_end|>\n<|im_start|>user\n{prompt}<|im_end|>\n<|im_start|>assistant",
  max_tokens=512,
  stop=["</s>"],
  echo=True
)

LangChain集成

参考指南：

• LangChain + llama-cpp-python
• LangChain + ctransformers