---

许可证: mit
语言:

• 中文
• 英文
  任务类型: 文本生成
  库名称: transformers

GLM-Z1-32B-0414 GGUF模型

模型生成详情

此模型使用llama.cpp在提交e291450时生成。

IQ-DynamicGate超低比特量化(1-2比特)

我们最新的量化方法引入了精度自适应量化技术，适用于超低比特模型(1-2比特)，在Llama-3-8B上经过基准测试验证有明显改进。该方法采用分层策略，在保持极高内存效率的同时保留精度。

基准测试背景

所有测试均在Llama-3-8B-Instruct上进行，使用:

• 标准困惑度评估流程
• 2048个token的上下文窗口
• 所有量化版本使用相同的提示集

方法

• 动态精度分配:
  • 前25%和后25%的层 → IQ4_XS(选定层)
  • 中间50% → IQ2_XXS/IQ3_S(提高效率)
• 关键组件保护:
  • 嵌入层和输出层使用Q5_K
  • 相比标准1-2比特减少38%误差传播

量化性能对比(Llama-3-8B)

量化方式	标准PPL	DynamicGate PPL	Δ PPL	标准大小	DG大小	Δ大小	标准速度	DG速度
IQ2_XXS	11.30	9.84	-12.9%	2.5G	2.6G	+0.1G	234s	246s
IQ2_XS	11.72	11.63	-0.8%	2.7G	2.8G	+0.1G	242s	246s
IQ2_S	14.31	9.02	-36.9%	2.7G	2.9G	+0.2G	238s	244s
IQ1_M	27.46	15.41	-43.9%	2.2G	2.5G	+0.3G	206s	212s
IQ1_S	53.07	32.00	-39.7%	2.1G	2.4G	+0.3G	184s	209s

说明:

• PPL = 困惑度(越低越好)
• Δ PPL = 相比标准量化的百分比变化
• 速度 = 推理时间(CPU avx2, 2048 token上下文)
• 大小差异反映混合量化开销

关键改进:

• 🔥 IQ1_M 困惑度大幅降低43.9%(27.46 → 15.41)
• 🚀 IQ2_S 困惑度降低36.9%同时仅增加0.2GB
• ⚡ IQ1_S 在1比特量化下仍保持39.7%更好的准确率

权衡:

• 所有变体都有适度大小增加(0.1-0.3GB)
• 推理速度保持相近(<5%差异)

适用场景

📌 将模型适配到GPU显存中

✔ 内存受限的部署场景

✔ CPU和边缘设备，可容忍1-2比特误差

✔ 超低比特量化研究

选择合适的模型格式

选择正确的模型格式取决于您的硬件能力和内存限制。

BF16(脑浮点16位) - 如果支持BF16加速

• 专为更快计算设计的16位浮点格式，同时保持良好精度
• 提供与FP32相似的动态范围但内存占用更低
• 推荐硬件支持BF16加速(检查设备规格)
• 相比FP32减少内存占用的理想高性能推理选择

📌 使用BF16如果:
✔ 硬件有原生BF16支持(如新GPU、TPU)
✔ 需要更高精度同时节省内存
✔ 计划将模型重新量化为其他格式

📌 避免BF16如果:
❌ 硬件不支持BF16(可能回退到FP32运行更慢)
❌ 需要兼容缺乏BF16优化的旧设备

---

F16(浮点16位) - 比BF16支持更广泛

• 16位浮点高精度但数值范围比BF16小
• 适用于大多数支持FP16加速的设备(包括许多GPU和部分CPU)
• 数值精度略低于BF16但通常足以满足推理需求

📌 使用F16如果:
✔ 硬件支持FP16但不支持BF16
✔ 需要速度、内存使用和准确性的平衡
✔ 在GPU或其他针对FP16计算优化的设备上运行

📌 避免F16如果:
❌ 设备缺乏原生FP16支持(可能比预期运行更慢)
❌ 有内存限制

---

量化模型(Q4_K、Q6_K、Q8等) - 适用于CPU和低显存推理

量化在尽可能保持精度的同时减少模型大小和内存使用。

• 低比特模型(Q4_K) → 最小内存占用最佳，精度可能较低
• 高比特模型(Q6_K、Q8_0) → 更好准确性，需要更多内存

📌 使用量化模型如果:
✔ 在CPU上运行推理并需要优化模型
✔ 设备显存低无法加载全精度模型
✔ 希望减少内存占用同时保持合理精度

📌 避免量化模型如果:
❌ 需要最高精度(全精度模型更适合)
❌ 硬件有足够显存支持更高精度格式(BF16/F16)

---

极低比特量化(IQ3_XS、IQ3_S、IQ3_M、Q4_K、Q4_0)

这些模型针对极致内存效率优化，非常适合低功耗设备或大规模部署中内存是关键限制的场景。

• IQ3_XS: 超低比特量化(3比特)具有极致内存效率

  • 用例: 最佳用于超低内存设备，即使Q4_K也太大时
  • 权衡: 相比高比特量化精度更低

• IQ3_S: 小块尺寸实现最大内存效率

  • 用例: 最佳用于低内存设备，其中IQ3_XS过于激进

• IQ3_M: 中等块尺寸比IQ3_S更好精度

  • 用例: 适合低内存设备，其中IQ3_S限制过大

• Q4_K: 4比特量化采用块优化提高精度

  • 用例: 最佳用于低内存设备，其中Q6_K过大

• Q4_0: 纯4比特量化，针对ARM设备优化

  • 用例: 最佳用于ARM设备或低内存环境

---

模型格式选择摘要表

模型格式	精度	内存使用	设备要求	最佳用例
BF16	最高	高	支持BF16的GPU/CPU	高速推理同时减少内存
F16	高	高	支持FP16的设备	BF16不可用时的GPU推理
Q4_K	中低	低	CPU或低显存设备	内存受限环境最佳
Q6_K	中	中等	内存较多的CPU	量化模型中更好精度
Q8_0	高	中等	显存足够的CPU/GPU	量化模型中最高精度
IQ3_XS	极低	极低	超低内存设备	极致内存效率低精度
Q4_0	低	低	ARM或低内存设备	llama.cpp可针对ARM优化

---

包含文件及详情

GLM-Z1-32B-0414-bf16.gguf

• 模型权重以BF16保存
• 如需将模型重新量化为其他格式使用此文件
• 设备支持BF16加速时最佳

GLM-Z1-32B-0414-f16.gguf

• 模型权重以F16存储
• BF16不可用时，设备支持FP16时使用

GLM-Z1-32B-0414-bf16-q8_0.gguf

• 输出和嵌入层保持BF16
• 其他层量化到Q8_0
• 设备支持BF16且需要量化版本时使用

GLM-Z1-32B-0414-f16-q8_0.gguf

• 输出和嵌入层保持F16
• 其他层量化到Q8_0

GLM-Z1-32B-0414-q4_k.gguf

• 输出和嵌入层量化到Q8_0
• 其他层量化到Q4_K
• CPU推理内存有限时适用

GLM-Z1-32B-0414-q4_k_s.gguf

• 最小Q4_K变体，牺牲精度减少内存
• 极低内存配置最佳

GLM-Z1-32B-0414-q6_k.gguf

• 输出和嵌入层量化到Q8_0
• 其他层量化到Q6_K

GLM-Z1-32B-0414-q8_0.gguf

• 完全Q8量化模型，更高精度
• 需要更多内存但提供更高精度

GLM-Z1-32B-0414-iq3_xs.gguf

• IQ3_XS量化，优化极致内存效率
• 超低内存设备最佳

GLM-Z1-32B-0414-iq3_m.gguf

• IQ3_M量化，提供中等块尺寸更好精度
• 适合低内存设备

GLM-Z1-32B-0414-q4_0.gguf

• 纯Q4_0量化，针对ARM设备优化
• 低内存环境最佳
• 更推荐IQ4_NL以获得更好精度

🚀 如果您觉得这些模型有用

❤ 如果觉得有用请点击"赞"！
帮助测试我的AI驱动的网络监控助手，具备量子就绪安全检查:
👉 免费网络监控

💬 如何测试:

1. 点击聊天图标(任意页面右下角)
2. 选择AI助手类型:
   • TurboLLM (GPT-4-mini)
   • FreeLLM (开源)
   • TestLLM (实验性仅CPU)

测试内容

我正在突破小型开源模型用于AI网络监控的极限，特别是:

• 针对实时网络服务的函数调用
• 模型可以小到什么程度同时仍能处理:
  • 自动化Nmap扫描
  • 量子就绪检查
  • Metasploit集成

🟡 TestLLM – 当前实验模型(llama.cpp 6 CPU线程):

• ✅ 零配置设置
• ⏳ 30秒加载时间(推理慢但无API成本)
• 🔧 需要帮助！ 如果您对边缘设备AI感兴趣，欢迎合作！

其他助手

🟢 TurboLLM – 使用gpt-4-mini实现:

• 实时网络诊断
• 自动化渗透测试(Nmap/Metasploit)
• 🔑 下载免费网络监控代理获取更多token

🔵 HugLLM – 开源模型(≈80亿参数):

• 比TurboLLM多2倍token
• AI驱动的日志分析
• 🌐 运行在Hugging Face推理API