Google Gemma 3 1b It Qat GGUF

由 bartowski 开发

基于Google Gemma 3B QAT权重的多种量化版本，适用于本地推理部署

大型语言模型 #量化模型优化 #轻量级推理 #多精度适配

下载量 1,437

发布时间 : 4/19/2025

模型介绍

内容详情

替代品

模型简介

该模型是Google Gemma-3-1B指令调优模型的量化版本集合，使用llama.cpp的imatrix方法进行优化量化，支持多种精度级别以适应不同硬件环境

模型特点

量化感知训练优化

基于Google官方QAT权重，相比传统量化方法具有更好的精度保持

多精度选择

提供从BF16到2bit的20种量化选项，满足不同硬件需求

ARM兼容性

特定量化版本(Q4_0等)支持ARM CPU在线重打包推理

imatrix优化

使用llama.cpp的imatrix功能进行数据感知量化，提升低bit量化质量

模型能力

指令跟随

多轮对话

文本补全

知识问答

使用案例

本地部署应用

个人助手

在本地设备运行个性化AI助手

低延迟响应，保护隐私

教育工具

离线环境下的学习辅导和问答系统

边缘计算

移动端推理

在手机等移动设备上运行AI功能

优化后的量化模型降低硬件要求

量化者：bartowski
流水线标签：文本生成
标签：

gemma3
gemma
google
许可证：gemma
额外授权按钮内容：确认许可证
基础模型关系：量化
额外授权标题：在Hugging Face上访问Gemma
额外授权提示：要在Hugging Face上访问Gemma，您需要审阅并同意Google的使用许可。为此，请确保您已登录Hugging Face并点击下方。请求会立即处理。
基础模型：google/gemma-3-1b-it-qat-q4_0-unquantized

Google gemma-3-1b-it-qat的Llamacpp imatrix量化版本

这些量化模型源自Google提供的量化感知训练（QAT）权重。

仅 Q4_0预期会有更好的表现，但既然我在做这件事，不妨也尝试其他量化方式看看效果如何？

gemma-3-1b-it-qat-Q4_0.gguf | Q4_0 | 0.72GB | 由于QAT改进，支持ARM和AVX CPU推理的在线重打包。

使用llama.cpp版本b5147进行量化。

原始模型：https://huggingface.co/google/gemma-3-1b-it-qat-q4_0-unquantized

所有量化均使用imatrix选项，数据集来自此处。

在LM Studio中运行。

直接使用llama.cpp或任何基于llama.cpp的项目运行。

提示格式

<bos><start_of_turn>user  
{system_prompt}  

{prompt}<end_of_turn>  
<start_of_turn>model  
<end_of_turn>  
<start_of_turn>model

从下方下载单个文件（非整个分支）：

文件名	量化类型	文件大小	是否分割	描述
gemma-3-1b-it-qat-bf16.gguf	bf16	2.01GB	false	完整的BF16权重。
gemma-3-1b-it-qat-Q8_0.gguf	Q8_0	1.07GB	false	极高品质，通常不需要但为最高可用量化。
gemma-3-1b-it-qat-Q6_K_L.gguf	Q6_K_L	1.01GB	false	嵌入和输出权重使用Q8_0。极高品质，近乎完美，推荐。
gemma-3-1b-it-qat-Q6_K.gguf	Q6_K	1.01GB	false	极高品质，近乎完美，推荐。
gemma-3-1b-it-qat-Q5_K_L.gguf	Q5_K_L	0.85GB	false	嵌入和输出权重使用Q8_0。高品质，推荐。
gemma-3-1b-it-qat-Q5_K_M.gguf	Q5_K_M	0.85GB	false	高品质，推荐。
gemma-3-1b-it-qat-Q5_K_S.gguf	Q5_K_S	0.84GB	false	高品质，推荐。
gemma-3-1b-it-qat-Q4_K_L.gguf	Q4_K_L	0.81GB	false	嵌入和输出权重使用Q8_0。良好品质，推荐。
gemma-3-1b-it-qat-Q4_K_M.gguf	Q4_K_M	0.81GB	false	良好品质，大多数用例的默认大小，推荐。
gemma-3-1b-it-qat-Q4_K_S.gguf	Q4_K_S	0.78GB	false	品质略低但节省更多空间，推荐。
gemma-3-1b-it-qat-Q4_1.gguf	Q4_1	0.76GB	false	传统格式，性能类似Q4_K_S，但在Apple芯片上每瓦特生成更多token。
gemma-3-1b-it-qat-Q3_K_XL.gguf	Q3_K_XL	0.75GB	false	嵌入和输出权重使用Q8_0。品质较低但可用，适合低RAM环境。
gemma-3-1b-it-qat-Q3_K_L.gguf	Q3_K_L	0.75GB	false	品质较低但可用，适合低RAM环境。
gemma-3-1b-it-qat-Q4_0.gguf	Q4_0	0.72GB	false	传统格式，支持ARM和AVX CPU推理的在线重打包。
gemma-3-1b-it-qat-IQ4_NL.gguf	IQ4_NL	0.72GB	false	类似IQ4_XS，但稍大。支持ARM CPU推理的在线重打包。
gemma-3-1b-it-qat-Q3_K_M.gguf	Q3_K_M	0.72GB	false	低品质。
gemma-3-1b-it-qat-IQ4_XS.gguf	IQ4_XS	0.71GB	false	良好品质，比Q4_K_S更小且性能相似，推荐。
gemma-3-1b-it-qat-IQ3_M.gguf	IQ3_M	0.70GB	false	中低品质，新方法，性能与Q3_K_M相当。
gemma-3-1b-it-qat-Q3_K_S.gguf	Q3_K_S	0.69GB	false	低品质，不推荐。
gemma-3-1b-it-qat-IQ3_XS.gguf	IQ3_XS	0.69GB	false	较低品质，新方法，性能略优于Q3_K_S。
gemma-3-1b-it-qat-Q2_K_L.gguf	Q2_K_L	0.69GB	false	嵌入和输出权重使用Q8_0。极低品质但意外可用。
gemma-3-1b-it-qat-Q2_K.gguf	Q2_K	0.69GB	false	极低品质但意外可用。
gemma-3-1b-it-qat-IQ3_XXS.gguf	IQ3_XXS	0.68GB	false	较低品质，新方法，性能与Q3量化相当。
gemma-3-1b-it-qat-IQ2_M.gguf	IQ2_M	0.67GB	false	相对较低品质，使用SOTA技术后意外可用。