量化者：bartowski
流水线标签：图像文本到文本
标签：

• gemma3
• gemma
• google
  许可证：gemma
  额外授权按钮内容：确认许可证
  基础模型关系：量化
  额外授权标题：在Hugging Face上访问Gemma
  额外授权提示：
  要在Hugging Face上访问Gemma，您需要审阅并同意Google的使用许可。为此，请确保您已登录Hugging Face并点击下方按钮。请求将立即处理。
  基础模型：google/gemma-3-12b-it-qat-q4_0-unquantized

Google gemma-3-12b-it-qat的Llamacpp imatrix量化版本

这些量化模型源自Google提供的量化感知训练（QAT）权重。

仅 Q4_0预期会有更好的表现，但既然已经着手，不妨也尝试其他量化方式看看效果如何？

gemma-3-12b-it-qat-Q4_0.gguf | Q4_0 | 6.91GB | false | 由于QAT的改进，适用于ARM和AVX CPU推理，支持在线重打包。

使用llama.cpp版本b5147进行量化。

原始模型：https://huggingface.co/google/gemma-3-12b-it-qat-q4_0-unquantized

所有量化均使用imatrix选项，数据集来自此处。

在LM Studio中运行。

直接使用llama.cpp或任何基于llama.cpp的项目运行。

提示格式

<bos><start_of_turn>user  
{system_prompt}  

{prompt}<end_of_turn>  
<start_of_turn>model  
<end_of_turn>  
<start_of_turn>model  

从下方下载单个文件（非整个分支）：

嵌入/输出权重

部分量化模型（如Q3_K_XL、Q4_K_L等）采用标准量化方法，但嵌入和输出权重使用Q8_0而非默认值。

使用huggingface-cli下载

pip install -U "huggingface_hub[cli]"  

huggingface-cli download bartowski/google_gemma-3-12b-it-qat-GGUF --include "google_gemma-3-12b-it-qat-Q4_K_M.gguf" --local-dir ./  

huggingface-cli download bartowski/google_gemma-3-12b-it-qat-GGUF --include "google_gemma-3-12b-it-qat-Q8_0/*" --local-dir ./  

ARM/AVX信息

过去需要下载Q4_0_4_4/4_8/8_8，这些文件会对权重进行内存交错以提高ARM和AVX设备的性能。

现在，权重支持“在线重打包”，详情见此PR。使用Q4_0时，若硬件受益于重打包，会自动完成。

从llama.cpp版本b4282起，无法运行Q4_0_X_X文件，需改用Q4_0。

此外，若追求更高品质，可使用IQ4_NL（见此PR），支持ARM权重重打包（目前仅4_4）。加载时间可能更长，但整体速度会提升。