Qwen Qwen3 30B A3B GGUF

由 bartowski 开发

基于Qwen/Qwen3-30B-A3B的量化版本，使用llama.cpp进行多种精度量化，适用于文本生成任务。

大型语言模型开源协议:Apache-2.0 #高精度量化 #多场景文本生成 #低内存优化

下载量 79.34k

发布时间 : 4/28/2025

模型介绍

内容详情

替代品

模型简介

这是一个30B参数规模的大语言模型量化版本，支持多种量化精度选择，适用于不同硬件环境下的高效推理。

模型特点

多种量化选项

提供从Q8_0到IQ2_XXS共20种不同量化精度的模型文件，适应不同硬件需求

imatrix优化

使用改进的imatrix数据集进行量化，提高量化后的模型质量

广泛兼容性

支持LM Studio、llama.cpp及基于llama.cpp的各种项目运行

嵌入优化

部分量化版本中嵌入和输出权重使用Q8_0量化，保持关键部分精度

模型能力

文本生成

对话系统

内容创作

使用案例

对话系统

智能助手

可用于构建智能对话助手

内容生成

文本创作

可用于文章、故事等文本内容生成

量化者：bartowski
流水线标签：文本生成
许可证：apache-2.0
许可证链接：https://huggingface.co/Qwen/Qwen3-30B-A3B/blob/main/LICENSE
基础模型：Qwen/Qwen3-30B-A3B
基础模型关系：量化版本

Qwen3-30B-A3B的Llamacpp imatrix量化版本

使用llama.cpp发布的b5200进行量化。

原始模型：https://huggingface.co/Qwen/Qwen3-30B-A3B

所有量化均采用imatrix选项，数据集来自此处（额外补充了合成数据，稍后将发布）。

可在LM Studio中运行。

也可直接使用llama.cpp或任何基于llama.cpp的项目运行。

提示格式

<|im_start|>system  
{系统提示}<|im_end|>  
<|im_start|>user  
{用户输入}<|im_end|>  
<|im_start|>assistant

从下方下载单个文件（非整个分支）：

文件名	量化类型	文件大小	是否分割	描述
Qwen3-30B-A3B-bf16.gguf	bf16	61.10GB	是	完整的BF16权重。
Qwen3-30B-A3B-Q8_0.gguf	Q8_0	32.48GB	否	极高品质，通常无需但为最高可用量化。
Qwen3-30B-A3B-Q6_K_L.gguf	Q6_K_L	25.26GB	否	嵌入和输出权重使用Q8_0。极高品质，接近完美，推荐。
Qwen3-30B-A3B-Q6_K.gguf	Q6_K	25.10GB	否	极高品质，接近完美，推荐。
Qwen3-30B-A3B-Q5_K_L.gguf	Q5_K_L	21.94GB	否	嵌入和输出权重使用Q8_0。高品质，推荐。
Qwen3-30B-A3B-Q5_K_M.gguf	Q5_K_M	21.74GB	否	高品质，推荐。
Qwen3-30B-A3B-Q5_K_S.gguf	Q5_K_S	21.10GB	否	高品质，推荐。
Qwen3-30B-A3B-Q4_1.gguf	Q4_1	19.21GB	否	传统格式，性能类似Q4_K_S，但在Apple芯片上功耗表现更优。
Qwen3-30B-A3B-Q4_K_L.gguf	Q4_K_L	18.86GB	否	嵌入和输出权重使用Q8_0。良好品质，推荐。
Qwen3-30B-A3B-Q4_K_M.gguf	Q4_K_M	18.63GB	否	良好品质，多数场景默认选择，推荐。
Qwen3-30B-A3B-Q4_K_S.gguf	Q4_K_S	17.98GB	否	略低品质但更省空间，推荐。
Qwen3-30B-A3B-Q4_0.gguf	Q4_0	17.63GB	否	传统格式，支持ARM和AVX CPU在线重打包推理。
Qwen3-30B-A3B-IQ4_NL.gguf	IQ4_NL	17.39GB	否	类似IQ4_XS，但稍大。支持ARM CPU在线重打包推理。
Qwen3-30B-A3B-IQ4_XS.gguf	IQ4_XS	16.46GB	否	尚可品质，比Q4_K_S更小且性能相近，推荐。
Qwen3-30B-A3B-Q3_K_XL.gguf	Q3_K_XL	14.86GB	否	嵌入和输出权重使用Q8_0。较低品质但可用，适合低内存环境。
Qwen3-30B-A3B-Q3_K_L.gguf	Q3_K_L	14.58GB	否	较低品质但可用，适合低内存环境。
Qwen3-30B-A3B-Q3_K_M.gguf	Q3_K_M	14.08GB	否	低品质。
Qwen3-30B-A3B-IQ3_M.gguf	IQ3_M	14.08GB	否	中低品质，新方法性能尚可，与Q3_K_M相当。
Qwen3-30B-A3B-Q3_K_S.gguf	Q3_K_S	13.43GB	否	低品质，不推荐。
Qwen3-30B-A3B-IQ3_XS.gguf	IQ3_XS	12.74GB	否	较低品质，新方法性能尚可，略优于Q3_K_S。
Qwen3-30B-A3B-IQ3_XXS.gguf	IQ3_XXS	12.22GB	否	较低品质，新方法性能尚可，与Q3量化相当。
Qwen3-30B-A3B-Q2_K_L.gguf	Q2_K_L	11.21GB	否	嵌入和输出权重使用Q8_0。极低品质但意外可用。
Qwen3-30B-A3B-Q2_K.gguf	Q2_K	10.91GB	否	极低品质但意外可用。
Qwen3-30B-A3B-IQ2_M.gguf	IQ2_M	10.43GB	否	相对低品质，采用前沿技术实现意外可用性。
Qwen3-30B-A3B-IQ2_S.gguf	IQ2_S	9.22GB	否	低品质，采用前沿技术实现可用性。
Qwen3-30B-A3B-IQ2_XS.gguf	IQ2_XS	9.14GB	否	低品质，采用前沿技术实现可用性。
Qwen3-30B-A3B-IQ2_XXS.gguf	IQ2_XXS	8.15GB	否	极低品质，采用前沿技术实现可用性。