Mlabonne Gemma 3 27b It Abliterated GGUF

由 bartowski 开发

基于Google Gemma 3B模型的量化版本，使用llama.cpp进行优化，支持多种量化级别，适用于文本生成任务。

大型语言模型 #多模态视觉推理 #高精度量化 #低资源部署

下载量 7,217

发布时间 : 3/17/2025

模型介绍

内容详情

替代品

模型简介

这是一个经过量化的Gemma 3B模型版本，通过llama.cpp工具进行了优化，提供了从高精度到低精度的多种量化选项，适合不同硬件环境下的推理需求。

模型特点

多种量化选项

提供从BF16到Q2_K的多种量化级别，适应不同硬件和性能需求。

imatrix优化

使用llama.cpp的imatrix选项进行量化，提高了量化模型的性能。

视觉任务支持

提供F32和F16格式的MMPROJ文件，支持视觉相关任务。

模型能力

文本生成

对话系统

指令跟随

使用案例

对话系统

智能助手

用于构建智能对话助手，回答用户问题。

内容生成

文本创作

帮助用户生成创意文本内容。

文件名	量化类型	文件大小	是否分割	描述
mmproj-gemma-3-27b-it-abliterated-f32.gguf	f32	1.69GB	false	F32格式的MMPROJ文件，视觉任务必需。
mmproj-gemma-3-27b-it-abliterated-f16.gguf	f16	858MB	false	F16格式的MMPROJ文件，视觉任务必需。
gemma-3-27b-it-abliterated-bf16.gguf	bf16	54.03GB	true	完整的BF16权重。
gemma-3-27b-it-abliterated-Q8_0.gguf	Q8_0	28.71GB	false	极高品质，通常无需但为最高可用量化。
gemma-3-27b-it-abliterated-Q6_K_L.gguf	Q6_K_L	22.51GB	false	嵌入和输出权重使用Q8_0。极高品质，近乎完美，推荐。
gemma-3-27b-it-abliterated-Q6_K.gguf	Q6_K	22.17GB	false	极高品质，近乎完美，推荐。
gemma-3-27b-it-abliterated-Q5_K_L.gguf	Q5_K_L	19.61GB	false	嵌入和输出权重使用Q8_0。高品质，推荐。
gemma-3-27b-it-abliterated-Q5_K_M.gguf	Q5_K_M	19.27GB	false	高品质，推荐。
gemma-3-27b-it-abliterated-Q5_K_S.gguf	Q5_K_S	18.77GB	false	高品质，推荐。
gemma-3-27b-it-abliterated-Q4_1.gguf	Q4_1	17.17GB	false	传统格式，性能类似Q4_K_S，但在Apple芯片上token/瓦特比更优。
gemma-3-27b-it-abliterated-Q4_K_L.gguf	Q4_K_L	16.89GB	false	嵌入和输出权重使用Q8_0。良好品质，推荐。
gemma-3-27b-it-abliterated-Q4_K_M.gguf	Q4_K_M	16.55GB	false	良好品质，多数场景默认选择，推荐。
gemma-3-27b-it-abliterated-Q4_K_S.gguf	Q4_K_S	15.67GB	false	品质略低但节省更多空间，推荐。
gemma-3-27b-it-abliterated-Q4_0.gguf	Q4_0	15.62GB	false	传统格式，支持ARM和AVX CPU推理的在线重打包。
gemma-3-27b-it-abliterated-IQ4_NL.gguf	IQ4_NL	15.57GB	false	类似IQ4_XS，但稍大。支持ARM CPU推理的在线重打包。
gemma-3-27b-it-abliterated-Q3_K_XL.gguf	Q3_K_XL	14.88GB	false	嵌入和输出权重使用Q8_0。品质较低但可用，适合低RAM环境。
gemma-3-27b-it-abliterated-IQ4_XS.gguf	IQ4_XS	14.77GB	false	尚可品质，比Q4_K_S更小且性能相似，推荐。
gemma-3-27b-it-abliterated-Q3_K_L.gguf	Q3_K_L	14.54GB	false	品质较低但可用，适合低RAM环境。
gemma-3-27b-it-abliterated-Q3_K_M.gguf	Q3_K_M	13.44GB	false	低品质。
gemma-3-27b-it-abliterated-IQ3_M.gguf	IQ3_M	12.55GB	false	中低品质，新方法，性能与Q3_K_M相当。
gemma-3-27b-it-abliterated-Q3_K_S.gguf	Q3_K_S	12.17GB	false	低品质，不推荐。
gemma-3-27b-it-abliterated-IQ3_XS.gguf	IQ3_XS	11.56GB	false	较低品质，新方法，性能略优于Q3_K_S。
gemma-3-27b-it-abliterated-Q2_K_L.gguf	Q2_K_L	10.85GB	false	嵌入和输出权重使用Q8_0。极低品质但意外可用。
gemma-3-27b-it-abliterated-IQ3_XXS.gguf	IQ3_XXS	10.72GB	false	较低品质，新方法，性能与Q3量化相当。
gemma-3-27b-it-abliterated-Q2_K.gguf	Q2_K	10.50GB	false	极低品质但意外可用