库名称: transformers
许可证: apache-2.0
许可证链接: https://huggingface.co/Qwen/Qwen3-30B-A3B/blob/main/LICENSE
流水线标签: 文本生成
基础模型:

• Qwen/Qwen3-30B-A3B-Base

Qwen3-30B-A3B GGUF模型

模型生成详情

本模型使用llama.cpp在提交版本064cc596生成。

IQ-DynamicGate超低位量化(1-2比特)

我们最新的量化方法为超低位模型(1-2比特)引入了精度自适应量化技术，在Llama-3-8B上通过基准测试验证了性能提升。该方法采用分层策略，在保持极致内存效率的同时保障精度。

基准测试环境

所有测试均在Llama-3-8B-Instruct上进行：

• 标准困惑度评估流程
• 2048个token的上下文窗口
• 所有量化版本使用相同提示集

方法

• 动态精度分配：
  • 首尾25%层 → IQ4_XS(选定层)
  • 中间50%层 → IQ2_XXS/IQ3_S(提升效率)
• 关键组件保护：
  • 嵌入/输出层使用Q5_K
  • 相比标准1-2比特减少38%误差传播

量化性能对比(Llama-3-8B)

图例：

• PPL = 困惑度(越低越好)
• ΔPPL = 相比标准量化的变化百分比
• 速度 = 推理时间(CPU avx2, 2048 token上下文)
• 大小差异反映混合量化开销

关键改进：

• üî• IQ1_M实现43.9%困惑度降低(27.46→15.41)
• üöÄ IQ2_S在仅增加0.2GB情况下降低36.9%困惑度
• ‚ö° IQ1_S在1比特量化下仍保持39.7%精度优势

权衡点：

• 所有变体均有小幅体积增加(0.1-0.3GB)
• 推理速度保持相近(<5%差异)

适用场景

üìå 适配GPU显存容量

‚úî 内存受限的部署环境

‚úî 可容忍1-2比特误差的CPU和边缘设备

‚úî 超低位量化的研究领域

模型格式选择指南

根据硬件能力和内存限制选择合适的模型格式：

BF16(脑浮点16) - 支持BF16加速时使用

• 专为快速计算设计的16位浮点格式
• 保持类似FP32的动态范围但内存占用更低
• 推荐支持BF16加速的硬件使用(请检查设备规格)
• 相比FP32可实现高性能推理与内存占用优化

üìå 适用场景：
‚úî 硬件原生支持BF16(如新型GPU/TPU)
‚úî 需要较高精度同时节省内存
‚úî 计划将模型重量化为其他格式

üìå 避免场景：
‚ùå 硬件不支持BF16(可能回退至FP32导致减速)
‚ùå 需要兼容缺乏BF16优化的老旧设备

F16(浮点16) - 比BF16支持更广泛

• 16位浮点高精度格式(但数值范围小于BF16)
• 支持多数FP16加速设备(包括多数GPU和部分CPU)
• 精度略低于BF16但通常满足推理需求

üìå 适用场景：
‚úî 硬件支持FP16但不支持BF16
‚úî 需要速度、内存和精度的平衡
‚úî 在GPU等FP16优化设备上运行

üìå 避免场景：
‚ùå 设备缺乏原生FP16支持(可能达不到预期速度)
‚ùå 存在内存限制

量化模型(Q4_K/Q6_K/Q8等) - CPU&低显存推理

量化在尽可能保持精度的同时减小模型体积和内存占用：

• 低位模型(Q4_K) → 最小内存占用，精度较低
• 高位模型(Q6_K/Q8_0) → 更高精度，需要更多内存

üìå 适用场景：
‚úî 在CPU上运行优化模型
‚úî 设备显存不足无法加载全精度模型
‚úî 需要减少内存占用同时保持合理精度

üìå 避免场景：
‚ùå 需要最高精度(全精度模型更优)
‚ùå 硬件有足够显存支持更高精度格式(BF16/F16)

超低位量化(IQ3_XS/IQ3_S/IQ3_M/Q4_K/Q4_0)

专为极致内存效率优化，适合低功耗设备或内存受限的大规模部署：

• IQ3_XS：3比特超低位量化，极致内存效率

  • 适用场景：Q4_K仍过大的超低内存设备
  • 权衡：相比高位量化精度较低

• IQ3_S：小分块实现最大内存效率

  • 适用场景：IQ3_XS过于激进的低内存设备

• IQ3_M：中等分块平衡IQ3_S精度

  • 适用场景：IQ3_S限制过强的低内存设备

• Q4_K：4比特分块优化提升精度

  • 适用场景：Q6_K过大的低内存设备

• Q4_0：纯4比特量化，ARM设备优化

  • 适用场景：ARM设备或低内存环境

模型格式选择摘要

包含文件及详情

Qwen3-30B-A3B-bf16.gguf

• 权重保留BF16格式
• 适用于需要重量化为其他格式的场景
• 设备支持BF16加速时最佳

Qwen3-30B-A3B-f16.gguf

• 权重存储为F16格式
• BF16不可用时支持FP16的设备适用

Qwen3-30B-A3B-bf16-q8_0.gguf

• 输出&嵌入层保持BF16
• 其他层量化为Q8_0
• 支持BF16设备需要量化版本时使用

Qwen3-30B-A3B-f16-q8_0.gguf

• 输出&嵌入层保持F16
• 其他层量化为Q8_0

Qwen3-30B-A3B-q4_k.gguf

• 输出&嵌入层量化为Q8_0
• 其他层量化为Q4_K
• 适合内存受限的CPU推理

Qwen3-30B-A3B-q4_k_s.gguf

• 最小Q4_K变体，牺牲精度换取更低内存
• 极低内存配置最佳选择

Qwen3-30B-A3B-q6_k.gguf

• 输出&嵌入层量化为Q8_0
• 其他层量化为Q6_K

Qwen3-30B-A3B-q8_0.gguf

• 完全Q8量化保障更高精度
• 需要更多内存但提供更高精度

Qwen3-30B-A3B-iq3_xs.gguf

• IQ3_XS量化，极致内存效率优化
• 超低内存设备首选

Qwen3-30B-A3B-iq3_m.gguf

• IQ3_M量化，中等分块提升精度
• 适合低内存设备

Qwen3-30B-A3B-q4_0.gguf

• 纯Q4_0量化，ARM设备优化
• 低内存环境适用
• 更高精度推荐IQ4_NL

üöÄ 如果觉得这些模型有用

‚ù§ 请点击"点赞"支持！
帮助测试我的AI网络监控助手(具备量子级安全检查)：
üëâ 免费网络监控

üí¨ 测试方法：
选择AI助手类型：

• TurboLLM (GPT-4o-mini)
• HugLLM (Hugginface开源模型)
• TestLLM (实验性CPU专用)

测试目标

探索小型开源模型在网络监控中的极限，特别是：

• 对实时网络服务的函数调用能力
• 模型最小化同时处理：
  • 自动化Nmap扫描
  • 量子就绪检查
  • 网络监控任务

üü° TestLLM - 当前实验模型(llama.cpp双CPU线程)：

• ‚úÖ 零配置部署
• ‚è≥ 30秒加载(推理较慢但无API成本)
• üîß 诚邀协作！ 对边缘设备AI感兴趣者欢迎合作！

其他助手

üü¢ TurboLLM - 使用gpt-4o-mini实现：

• 创建自定义命令处理器运行.net代码
• 实时网络诊断与监控
• **安全审计