Mlabonne Gemma 3 12b It Abliterated GGUF

由 bartowski 开发

基于mlabonne/gemma-3-12b-it-abliterated模型的量化版本，使用llama.cpp进行imatrix量化，适用于文本生成任务。

大型语言模型 #高精度量化 #多模态视觉 #低资源部署

下载量 7,951

发布时间 : 3/18/2025

模型介绍

内容详情

替代品

模型简介

这是一个12B参数规模的Gemma模型量化版本，支持文本生成任务，适用于本地推理环境。

模型特点

高效量化

使用llama.cpp的imatrix量化技术，提供多种量化选项，平衡模型大小和性能。

本地推理支持

可在LM Studio或llama.cpp等本地环境中运行，适合离线使用。

多量化选项

提供从BF16到Q2_K的多种量化级别，适应不同硬件和性能需求。

模型能力

文本生成

对话系统

指令跟随

使用案例

对话系统

智能助手

构建本地运行的智能对话助手

内容生成

文本创作

用于生成文章、故事等创意内容

文件名	量化类型	文件大小	是否分割	描述
mmproj-gemma-3-12b-it-abliterated-f32.gguf	f32	1.69GB	false	F32格式的MMPROJ文件，视觉任务必需。
mmproj-gemma-3-12b-it-abliterated-f16.gguf	f16	854MB	false	F16格式的MMPROJ文件，视觉任务必需。
gemma-3-12b-it-abliterated-bf16.gguf	bf16	23.54GB	false	完整的BF16权重。
gemma-3-12b-it-abliterated-Q8_0.gguf	Q8_0	12.51GB	false	极高品质，通常不需要但为最高可用量化。
gemma-3-12b-it-abliterated-Q6_K_L.gguf	Q6_K_L	9.90GB	false	嵌入和输出权重使用Q8_0。极高品质，接近完美，推荐。
gemma-3-12b-it-abliterated-Q6_K.gguf	Q6_K	9.66GB	false	极高品质，接近完美，推荐。
gemma-3-12b-it-abliterated-Q5_K_L.gguf	Q5_K_L	8.69GB	false	嵌入和输出权重使用Q8_0。高品质，推荐。
gemma-3-12b-it-abliterated-Q5_K_M.gguf	Q5_K_M	8.45GB	false	高品质，推荐。
gemma-3-12b-it-abliterated-Q5_K_S.gguf	Q5_K_S	8.23GB	false	高品质，推荐。
gemma-3-12b-it-abliterated-Q4_1.gguf	Q4_1	7.56GB	false	传统格式，性能类似Q4_K_S，但在Apple芯片上改进了token/瓦特比。
gemma-3-12b-it-abliterated-Q4_K_L.gguf	Q4_K_L	7.54GB	false	嵌入和输出权重使用Q8_0。良好品质，推荐。
gemma-3-12b-it-abliterated-Q4_K_M.gguf	Q4_K_M	7.30GB	false	良好品质，大多数用例的默认大小，推荐。
gemma-3-12b-it-abliterated-Q4_K_S.gguf	Q4_K_S	6.94GB	false	品质略低但节省更多空间，推荐。
gemma-3-12b-it-abliterated-Q4_0.gguf	Q4_0	6.91GB	false	传统格式，支持ARM和AVX CPU推理的在线重打包。
gemma-3-12b-it-abliterated-IQ4_NL.gguf	IQ4_NL	6.89GB	false	类似IQ4_XS，但稍大。支持ARM CPU推理的在线重打包。
gemma-3-12b-it-abliterated-Q3_K_XL.gguf	Q3_K_XL	6.72GB	false	嵌入和输出权重使用Q8_0。品质较低但可用，适合低RAM环境。
gemma-3-12b-it-abliterated-IQ4_XS.gguf	IQ4_XS	6.55GB	false	尚可品质，比Q4_K_S更小且性能相似，推荐。
gemma-3-12b-it-abliterated-Q3_K_L.gguf	Q3_K_L	6.48GB	false	品质较低但可用，适合低RAM环境。
gemma-3-12b-it-abliterated-Q3_K_M.gguf	Q3_K_M	6.01GB	false	低品质。
gemma-3-12b-it-abliterated-IQ3_M.gguf	IQ3_M	5.66GB	false	中低品质，新方法，性能与Q3_K_M相当。
gemma-3-12b-it-abliterated-Q3_K_S.gguf	Q3_K_S	5.46GB	false	低品质，不推荐。
gemma-3-12b-it-abliterated-IQ3_XS.gguf	IQ3_XS	5.21GB	false	较低品质，新方法，性能略优于Q3_K_S。
gemma-3-12b-it-abliterated-Q2_K_L.gguf	Q2_K_L	5.01GB	false	嵌入和输出权重使用Q8_0。极低品质但意外可用。
gemma-3-12b-it-abliterated-IQ3_XXS.gguf	IQ3_XXS	4.78GB	false	较低品质，新方法，性能与Q3量化相当。
gemma-3-12b-it-abliterated-Q2_K.gguf	Q2_K	4.77GB	false	极