量化者：bartowski
流水线标签：图像文本到文本
标签：

• gemma3
• gemma
• google
  许可证：gemma
  额外授权按钮内容：确认许可证
  基础模型关系：量化版本
  额外授权标题：在Hugging Face上访问Gemma
  额外授权提示：
  要访问Hugging Face上的Gemma，您需要审阅并同意Google的使用许可。请确保已登录Hugging Face账号并点击下方按钮。请求将即时处理。
  基础模型：google/gemma-3-4b-it-qat-q4_0-unquantized

Google gemma-3-4b-it-qat的Llamacpp imatrix量化版本

这些量化模型基于Google提供的QAT（量化感知训练）权重生成。

仅 Q4_0版本预期表现更优，但制作过程中也生成了其他量化版本以供探索。

gemma-3-4b-it-qat-Q4_0.gguf | Q4_0 | 2.37GB | false | 因QAT技术提升性能，支持ARM和AVX CPU的在线权重重组推理。

使用llama.cpp版本b5147进行量化。

原始模型：https://huggingface.co/google/gemma-3-4b-it-qat-q4_0-unquantized

所有量化版本均采用imatrix选项，数据集来自此处

可通过LM Studio运行
或直接使用llama.cpp及其衍生项目

提示词格式

<bos><start_of_turn>user  
{系统提示}  

{用户提示}<end_of_turn>  
<start_of_turn>model  
<end_of_turn>  
<start_of_turn>model  

文件下载（非完整分支）

嵌入/输出层权重

部分量化版本（如Q3_K_XL、Q4_K_L等）对嵌入层和输出层采用Q8_0量化而非默认方法。

使用huggingface-cli下载

pip install -U "huggingface_hub[cli]"  

huggingface-cli download bartowski/google_gemma-3-4b-it-qat-GGUF --include "google_gemma-3-4b-it-qat-Q4_K_M.gguf" --local-dir ./  

huggingface-cli download bartowski/google_gemma-