Mlabonne Gemma 3 4b It Abliterated GGUF

由 bartowski 开发

这是一个基于mlabonne/gemma-3-4b-it-abliterated模型的量化版本，使用llama.cpp进行imatrix量化，适用于图像文本到文本任务。

图像生成文本 #多模态视觉理解 #高精度量化 #轻量级部署

下载量 9,164

发布时间 : 3/18/2025

模型介绍

内容详情

替代品

模型简介

该模型是Gemma-3-4B-IT的量化版本，支持视觉任务，提供多种量化选项以适应不同硬件需求。

模型特点

多种量化选项

提供从BF16到Q2_K的多种量化版本，适应不同硬件和性能需求。

视觉任务支持

包含MMPROJ文件，支持视觉任务处理。

高效推理

使用llama.cpp优化，支持在LM Studio等平台高效运行。

模型能力

图像文本生成

多模态理解

文本生成

使用案例

多模态应用

图像描述生成

根据输入图像生成描述性文本。

视觉问答

回答关于图像内容的问题。

文本生成

对话系统

构建基于多模态输入的对话系统。

量化者：bartowski
流水线标签：图像文本到文本
许可证：gemma
基础模型：mlabonne/gemma-3-4b-it-abliterated

mlabonne的gemma-3-4b-it-abliterated模型的Llamacpp imatrix量化版本

使用llama.cpp发布的b4896版本进行量化。

原始模型：https://huggingface.co/mlabonne/gemma-3-4b-it-abliterated

所有量化均使用imatrix选项，数据集来自此处

可在LM Studio中运行

也可直接使用llama.cpp或任何基于llama.cpp的项目运行

提示格式

<bos><start_of_turn>user  
{系统提示}  

{提示}<end_of_turn>  
<start_of_turn>model

从下方下载单个文件（非整个分支）：

文件名	量化类型	文件大小	是否分割	描述
mmproj-gemma-3-4b-it-abliterated-f32.gguf	f32	1.68GB	否	F32格式的MMPROJ文件，视觉任务必备。
mmproj-gemma-3-4b-it-abliterated-f16.gguf	f16	851MB	否	F16格式的MMPROJ文件，视觉任务必备。
gemma-3-4b-it-abliterated-bf16.gguf	bf16	7.77GB	否	完整的BF16权重。
gemma-3-4b-it-abliterated-Q8_0.gguf	Q8_0	4.13GB	否	极高品质，通常无需但为最高可用量化。
gemma-3-4b-it-abliterated-Q6_K_L.gguf	Q6_K_L	3.35GB	否	嵌入和输出权重使用Q8_0。接近完美，推荐。
gemma-3-4b-it-abliterated-Q6_K.gguf	Q6_K	3.19GB	否	极高品质，接近完美，推荐。
gemma-3-4b-it-abliterated-Q5_K_L.gguf	Q5_K_L	2.99GB	否	嵌入和输出权重使用Q8_0。高品质，推荐。
gemma-3-4b-it-abliterated-Q5_K_M.gguf	Q5_K_M	2.83GB	否	高品质，推荐。
gemma-3-4b-it-abliterated-Q5_K_S.gguf	Q5_K_S	2.76GB	否	高品质，推荐。
gemma-3-4b-it-abliterated-Q4_K_L.gguf	Q4_K_L	2.65GB	否	嵌入和输出权重使用Q8_0。良好品质，推荐。
gemma-3-4b-it-abliterated-Q4_1.gguf	Q4_1	2.56GB	否	传统格式，性能类似Q4_K_S，但在Apple芯片上每瓦特生成更多token。
gemma-3-4b-it-abliterated-Q4_K_M.gguf	Q4_K_M	2.49GB	否	良好品质，多数场景默认选择，推荐。
gemma-3-4b-it-abliterated-Q3_K_XL.gguf	Q3_K_XL	2.40GB	否	嵌入和输出权重使用Q8_0。质量较低但可用，适合内存有限场景。
gemma-3-4b-it-abliterated-Q4_K_S.gguf	Q4_K_S	2.38GB	否	质量略低但更省空间，推荐。
gemma-3-4b-it-abliterated-Q4_0.gguf	Q4_0	2.37GB	否	传统格式，支持ARM和AVX CPU推理的在线重打包。
gemma-3-4b-it-abliterated-IQ4_NL.gguf	IQ4_NL	2.36GB	否	类似IQ4_XS但稍大。支持ARM CPU推理的在线重打包。
gemma-3-4b-it-abliterated-IQ4_XS.gguf	IQ4_XS	2.26GB	否	质量尚可，比Q4_K_S更小且性能相近，推荐。
gemma-3-4b-it-abliterated-Q3_K_L.gguf	Q3_K_L	2.24GB	否	质量较低但可用，适合内存有限场景。
gemma-3-4b-it-abliterated-Q3_K_M.gguf	Q3_K_M	2.10GB	否	低质量。
gemma-3-4b-it-abliterated-IQ3_M.gguf	IQ3_M	1.99GB	否	中低质量，新方法，性能与Q3_K_M相当。
gemma-3-4b-it-abliterated-Q3_K_S.gguf	Q3_K_S	1.94GB	否	低质量，不推荐。
gemma-3-4b-it-abliterated-Q2_K_L.gguf	Q2_K_L	1.89GB	否	嵌入和输出权重使用Q8_0。质量极低但意外可用。
gemma-3-4b-it-abliterated-IQ3_XS.gguf	IQ3_XS	1.86GB	否	低质量，新方法性能尚可，略优于Q3_K_S。
gemma-3-4b-it-abliterated-Q2_K.gguf	Q2_K	1.73GB	否	质量极低但意外可用。
gemma-3-4b-it-abliterated-IQ3_XXS.gguf	IQ3_XXS	1.69GB	否	低质量，新方法性能尚可，与Q3量化相当。
gemma-3-4b-it-abliterated-IQ2_M.gguf	IQ2_M	1.54GB	否	质量较低，采用前沿技术使其意外可用。

嵌入/输出权重

部分量化版本（如Q3_K_XL、Q4_K_L等）采用标准量化方法，但嵌入和输出权重被量化为Q8_0而非默认值。

使用huggingface-cli下载

点击查看下载说明

首先确保已安装huggingface-cli：

pip install -U "huggingface_hub[cli]"

然后指定目标文件：

huggingface-cli download bartowski/mlabonne_gemma-3-4b-it-abliterated-GGUF --include "mlabonne_gemma-3-4b-it-abliterated-Q4_K_M.gguf" --local-dir ./

若模型超过50GB会被分割。下载全部文件到本地目录：

huggingface-cli download bartowski/mlabonne_gemma-3-4b-it-abliterated-GGUF --include "mlabonne_gemma-3-4b-it-abliterated-Q8_0/*" --local-dir ./

ARM/AVX信息

此前需下载Q4_0_4_4/4_8/8_8等文件，这些文件通过内存交错权重提升ARM和AVX设备的性能。

现在支持权重"在线重打包"，详见此PR。使用Q4_0时若硬件支持会自动重打包。

自llama.cpp的b4282版本起，Q4_0_X_X文件不再可用，需改用Q4_0。

此外，通过此PR可使用IQ4_NL获得更优质量（目前仅支持4_4 ARM重打包），加载时间可能更长但整体速度提升。

点击查看Q4_0_X_X信息（已弃用）

保留此部分展示Q4_0在线重打包的理论性能提升。

点击查看AVX2系统（EPYC7702）基准测试

（基准测试数据表格略）

Q4_0_8_8在提示处理和小文本生成上均有提升。

如何选择文件？

点击查看详情

Artefact2提供的详细分析包含性能图表。

首先确定可运行模型的尺寸：计算可用RAM/VRAM总量，选择比总量小1-2GB的量化文件。

若追求极速，选择能完全放入GPU显存的量化（文件大小比显存小1-2GB）。

若追求最高质量，合并系统内存和显存后选择对应量化。

其次选择"I-quant"或"K-quant"：

不想深入思考？选择K-quant（格式如QX_K_X，例Q5_K_M）。

进阶选项可参考llama.cpp特性矩阵。

若目标量化低于Q4且使用cuBLAS（Nvidia）或rocBLAS（AMD），建议选择I-quant（格式如IQX_X，例IQ3_M）。这些新量化在同等尺寸下性能更优。

I-quant也可用于CPU但速度慢于K-quant，需权衡速度与质量。

注意：I-quant不兼容Vulkan（AMD显卡需确认使用rocBLAS还是Vulkan构建）。

致谢

感谢kalomaze和Dampf协助创建imatrix校准数据集。

感谢ZeroWw启发嵌入/输出权重的实验。

感谢LM Studio对本项目的赞助。

支持我的工作？访问我的ko-fi页面：https://ko-fi.com/bartowski

精选推荐AI模型

Llama 3 Typhoon V1.5x 8b Instruct

专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务

Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。

Roberta Base Chinese Extractive Qa

基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。

AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。

简体中文

热门模型

Llama 3 Typhoon V1.5x 8b Instruct

Cadet Tiny

Roberta Base Chinese Extractive Qa

热门模型分类

热门标签