量化者：ubergarm
流水线标签：文本生成
基础模型：google/gemma-3-27b-it-qat-q4_0-unquantized
许可证：mit
基础模型关系：量化版
标签：

• imatrix
• gemma-3
• 对话式
• ik_llama.cpp

ik_llama.cpp 对 google/gemma-3-27b-it-qat-q4_0-unquantized 的 imatrix 量化

此量化集合必须使用 ik_llama.cpp 分支以支持先进的非线性 SotA 量化。不要下载这些大文件并期望它们能在主线的普通 llama.cpp、ollama、LM Studio、KoboldCpp 等上运行！

这些量化在给定内存占用下提供了同类最佳的困惑度表现。

特别感谢

向 Wendell 和 Level1Techs 团队、社区 论坛、YouTube 频道 致以崇高的敬意！非常感谢你们提供的强大硬件专业知识和资源，使得这些实验得以运行，并将这些优秀的量化成果分享给社区！！！

同时也感谢量化与推理社区的各位成员，无论是在这里还是在 r/LocalLLaMA 上，大家互相分享技巧与经验，帮助彼此运行各种有趣的新模型！

很高兴能一起分享与学习。谢谢！

量化集合

目前这些是我提供的最佳量化方案，在每 GiB 模型上实现了最低的困惑度。

查看 这些速度与质量的基准对比图表及讨论。

ubergarm/gemma-3-27B-it-qat-iq4_ks.gguf

最佳质量

• 32k 上下文占用 23704MiB VRAM
• 16k 上下文占用 19488MiB VRAM
• 8k 上下文占用 17380MiB VRAM
• 仅需 13126MiB VRAM（使用 -rtr -ot attn=CPU -nkvo）
• 可使用 q4_0 KV 缓存以进一步降低 VRAM 占用！

14.099 GiB (4.484 BPW)  
f32:  373 张量  
类型 q4_0:   62 张量 blk.*.attn_v.weight  
类型 q8_0:    1 张量  
iq4_ks:  372 张量  
最终估计：PPL = 8.1755 +/- 0.06296  

ubergarm/gemma-3-27B-it-qat-mix-iq3_k.gguf

最小体积且质量良好

• 32k 上下文占用 22306MiB VRAM
• 16k 上下文占用 18090MiB VRAM
• 8k 上下文占用 15982MiB VRAM
• 仅需 11960MiB VRAM（使用 -rtr -ot attn=CPU -nkvo）
• 可使用 q4_0 KV 缓存以进一步降低 VRAM 占用！

12.733 GiB (4.050 BPW)  
f32:  373 张量  
q4_0:   62 张量 blk.*.attn_v.weight  
q8_0:    1 张量 token_embd.weight  
iq3_k:  124 张量 ffn_(gate|up).weight  
类型 iq4_ks:  248 张量 ffn_down.weight  
最终估计：PPL = 8.2367 +/- 0.06329  

快速开始

ik_llama.cpp API 服务器用于 GPU 推理

# 此示例适用于 24GB VRAM  
./build/bin/llama-server \  
    --alias ubergarm/gemma-3-27b-it-qat-mix-iq3_k.gguf \  
    --model /mnt/raid/models/ubergarm/gemma-3-27b-it-qat-GGUF/gemma-3-27b-it-qat-iq4_ks.gguf \  
    -ctk q8_0 -ctv q8_0 \  
    -fa \  
    -amb 512 \  
    -fmoe \  
    -c 32768 \  
    -ub 512 \  
    -ngl 99 \  
    --threads 4 \  
    --host 127.0.0.1 \  
    --port 8080  

如果需要更大的上下文或更低的 VRAM 占用，可以尝试：

• 更小的 KV 缓存量化 -ctk q4_0 -ctv q4_0
• 运行时重新打包以支持 CPU 推理，将注意力张量覆盖到 CPU，禁用 KV 卸载 -rtr -ot attn=CPU -nkvo。

参考

• ik_llama.cpp
• ik_llama.cpp 入门指南
• 速度与质量基准对比图表及讨论
• imatrix calibration_data_v5_rc.txt