Huihui Ai Gemma 3 1b It Abliterated GGUF

由 bartowski 开发

这是Google Gemma 3B模型的量化版本，基于llama.cpp进行优化，适合在资源有限的环境中运行。

大型语言模型 #轻量级生成 #无审查对话 #多轮交互

下载量 3,123

发布时间 : 3/22/2025

模型介绍

内容详情

替代品

模型简介

基于Google Gemma 3B模型的量化版本，支持文本生成任务，特别优化了在本地设备上的运行效率。

模型特点

高效量化

使用llama.cpp进行多种量化处理，显著减小模型体积，提升运行效率。

本地运行优化

特别优化了在LM Studio和llama.cpp等本地环境中的运行性能。

多量化选项

提供从BF16到Q2_K的多种量化级别，满足不同硬件和性能需求。

模型能力

文本生成

对话交互

内容创作

使用案例

聊天应用

智能对话

用于构建聊天机器人，提供自然流畅的对话体验。

内容生成

创意写作

辅助进行故事创作、诗歌写作等创意内容生成。

量化者：bartowski
流水线标签：文本生成
许可证：gemma
额外授权提示：要访问Hugging Face上的Gemma，您需要审阅并同意Google的使用许可。请确保已登录Hugging Face账号并点击下方按钮。请求将即时处理。
标签：

聊天
去审查
无限制
额外授权按钮内容：确认许可
基础模型关联：量化
额外授权标题：在Hugging Face上访问Gemma
基础模型：huihui-ai/gemma-3-1b-it-abliterated

huihui-ai的gemma-3-1b-it-abliterated的Llamacpp imatrix量化版本

使用llama.cpp发布的b4925版本进行量化。

原始模型：https://huggingface.co/huihui-ai/gemma-3-1b-it-abliterated

所有量化均使用imatrix选项，数据集来自此处

在LM Studio中运行

直接使用llama.cpp或任何基于llama.cpp的项目运行

提示格式

<bos><start_of_turn>user  
{system_prompt}  

{prompt}<end_of_turn>  
<start_of_turn>model  
<end_of_turn>  
<start_of_turn>model

从下方下载单个文件（非整个分支）：

文件名	量化类型	文件大小	是否分割	描述
gemma-3-1b-it-abliterated-bf16.gguf	bf16	2.01GB	false	完整的BF16权重。
gemma-3-1b-it-abliterated-Q8_0.gguf	Q8_0	1.07GB	false	极高品质，通常不需要但为最高可用量化。
gemma-3-1b-it-abliterated-Q6_K_L.gguf	Q6_K_L	1.01GB	false	嵌入和输出权重使用Q8_0。极高品质，接近完美，推荐。
gemma-3-1b-it-abliterated-Q6_K.gguf	Q6_K	1.01GB	false	极高品质，接近完美，推荐。
gemma-3-1b-it-abliterated-Q5_K_L.gguf	Q5_K_L	0.85GB	false	嵌入和输出权重使用Q8_0。高品质，推荐。
gemma-3-1b-it-abliterated-Q5_K_M.gguf	Q5_K_M	0.85GB	false	高品质，推荐。
gemma-3-1b-it-abliterated-Q5_K_S.gguf	Q5_K_S	0.84GB	false	高品质，推荐。
gemma-3-1b-it-abliterated-Q4_K_L.gguf	Q4_K_L	0.81GB	false	嵌入和输出权重使用Q8_0。良好品质，推荐。
gemma-3-1b-it-abliterated-Q4_K_M.gguf	Q4_K_M	0.81GB	false	良好品质，大多数用例的默认大小，推荐。
gemma-3-1b-it-abliterated-Q4_K_S.gguf	Q4_K_S	0.78GB	false	品质稍低但节省更多空间，推荐。
gemma-3-1b-it-abliterated-Q4_1.gguf	Q4_1	0.76GB	false	传统格式，性能类似Q4_K_S，但在Apple芯片上每瓦特生成的令牌数更优。
gemma-3-1b-it-abliterated-Q3_K_XL.gguf	Q3_K_XL	0.75GB	false	嵌入和输出权重使用Q8_0。品质较低但可用，适合内存有限的场景。
gemma-3-1b-it-abliterated-Q3_K_L.gguf	Q3_K_L	0.75GB	false	品质较低但可用，适合内存有限的场景。
gemma-3-1b-it-abliterated-Q4_0.gguf	Q4_0	0.72GB	false	传统格式，支持ARM和AVX CPU推理的在线重打包。
gemma-3-1b-it-abliterated-IQ4_NL.gguf	IQ4_NL	0.72GB	false	类似IQ4_XS，但稍大。支持ARM CPU推理的在线重打包。
gemma-3-1b-it-abliterated-Q3_K_M.gguf	Q3_K_M	0.72GB	false	低品质。
gemma-3-1b-it-abliterated-IQ4_XS.gguf	IQ4_XS	0.71GB	false	尚可品质，比Q4_K_S更小但性能相似，推荐。
gemma-3-1b-it-abliterated-IQ3_M.gguf	IQ3_M	0.70GB	false	中低品质，新方法，性能与Q3_K_M相当。
gemma-3-1b-it-abliterated-Q3_K_S.gguf	Q3_K_S	0.69GB	false	低品质，不推荐。
gemma-3-1b-it-abliterated-IQ3_XS.gguf	IQ3_XS	0.69GB	false	较低品质，新方法性能尚可，略优于Q3_K_S。
gemma-3-1b-it-abliterated-Q2_K_L.gguf	Q2_K_L	0.69GB	false	嵌入和输出权重使用Q8_0。极低品质但意外可用。
gemma-3-1b-it-abliterated-Q2_K.gguf	Q2_K	0.69GB	false	极低品质但意外可用。
[gemma-3-1b-it-abliterated-IQ3_XXS.gguf](https://huggingface.co/bartowski/huihui-ai_gemma-3-1b-it-abliterated-GGUF/blob/main/huihui-ai_gemma-3-1b-it-abliter