标签:

• 量化
• 2比特
• 3比特
• 4比特
• 5比特
• 6比特
• 8比特
• GGUF格式
• 变换器模型
• 安全张量
• gemma模型
• 文本生成
• 对话式AI
• 论文编号:2312.11805
• 论文编号:2009.03300
• 论文编号:1905.07830
• 论文编号:1911.11641
• 论文编号:1904.09728
• 论文编号:1905.10044
• 论文编号:1907.10641
• 论文编号:1811.00937
• 论文编号:1809.02789
• 论文编号:1911.01547
• 论文编号:1705.03551
• 论文编号:2107.03374
• 论文编号:2108.07732
• 论文编号:2110.14168
• 论文编号:2304.06364
• 论文编号:2206.04615
• 论文编号:1804.06876
• 论文编号:2110.08193
• 论文编号:2009.11462
• 论文编号:2101.11718
• 论文编号:1804.09301
• 论文编号:2109.07958
• 论文编号:2203.09509
• 许可证:其他
• 兼容自动训练
• 兼容终端
• 有空间
• 文本生成推理
• 地区:美国
• 文本生成 模型名称: gemma-2b-it-GGUF 基础模型: google/gemma-2b-it 推理: 不支持 模型创建者: 谷歌 流水线标签: 文本生成 量化者: MaziyarPanahi

MaziyarPanahi/gemma-2b-it-GGUF

• 模型创建者: 谷歌
• 原始模型: google/gemma-2b-it

模型描述

MaziyarPanahi/gemma-2b-it-GGUF 包含 google/gemma-2b-it 的GGUF格式模型文件。

使用方法

感谢 TheBloke 提供的详细使用说明：

关于GGUF格式

GGUF是llama.cpp团队于2023年8月21日推出的新格式，用于替代已停止支持的GGML格式。

以下是部分已知支持GGUF的客户端和库：

• llama.cpp - GGUF的源项目，提供CLI和服务端选项
• text-generation-webui - 最流行的Web UI，支持GPU加速
• KoboldCpp - 全功能Web UI，跨平台GPU加速
• GPT4All - 免费开源的本地GUI，支持Windows/Linux/macOS
• LM Studio - 易用的本地GUI，支持Windows/macOS
• LoLLMS Web UI - 功能丰富的Web UI
• Faraday.dev - 角色聊天GUI
• llama-cpp-python - Python库
• candle - Rust ML框架
• ctransformers - Python库

量化方法说明

pip3 install huggingface-hub

huggingface-cli download MaziyarPanahi/gemma-2b-it-GGUF gemma-2b-it-GGUF.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

huggingface-cli download [MaziyarPanahi/gemma-2b-it-GGUF](https://huggingface.co/MaziyarPanahi/gemma-2b-it-GGUF) --local-dir . --local-dir-use-symlinks False --include='*Q4_K*gguf'

pip3 install hf_transfer
HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download MaziyarPanahi/gemma-2b-it-GGUF gemma-2b-it-GGUF.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

llama.cpp使用示例

确保使用d0cee0d或更新版本：

./main -ngl 35 -m gemma-2b-it-GGUF.Q4_K_M.gguf --color -c 32768 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "<|im_start|>system
{系统消息}<|im_end|>
<|im_start|>user
{提示}<|im_end|>
<|im_start|>assistant"

调整-ngl参数设置GPU卸载层数，-c设置序列长度。

Python代码示例

安装llama-cpp-python

根据系统选择安装命令：

# 基础版(无GPU加速)
pip install llama-cpp-python
# CUDA加速
CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python
# Metal加速(macOS)
CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python

使用示例

from llama_cpp import Llama

llm = Llama(
  model_path="./gemma-2b-it-GGUF.Q4_K_M.gguf",
  n_ctx=32768,
  n_threads=8,
  n_gpu_layers=35
)

output = llm(
  "<|im_start|>system
{系统消息}<|im_end|>
<|im_start|>user
{提示}<|im_end|>
<|im_start|>assistant",
  max_tokens=512,
  stop=["</s>"],
  echo=True
)

LangChain集成

参考指南：

• LangChain + llama-cpp-python
• LangChain + ctransformers