library_name: transformers
pipeline_tag: text-generation
tags:

• 128k上下文
• 推理
• 思维链
• 千问3
• 16专家模型
  base_model:
• Qwen/Qwen3-30B-A3B-Base

Qwen3-30B-A6B-16专家极速版-128k上下文

本仓库包含完整精度的源代码（"safetensors"格式），可用于生成GGUF、GPTQ、EXL2、AWQ、HQQ等量化格式，也可直接使用原始代码。

这是对千问"Qwen 30B-A3B"（混合专家模型）的简易微调版本，根据官方技术文档调整了以下参数：激活专家数从8提升至16（总专家数128），最大上下文窗口从32k扩展至128k。

页面底部附有3个生成示例（Q4KS量化，CPU运行），展示16专家模式的效果。

此调整会降低模型速度，但能调用更多"专家"处理提示，参数使用量从30B中的3B提升至6B。常规任务建议使用标准版（"30B-A3B"），本版本更适合处理复杂/需要深度推理的场景。

简单任务可选用常规版（8专家）、"12厨师"版（12专家）或"高速"版（4专家）。使用16专家会使token生成速度降低约50%。

上下文长度：128k
建议使用Jinja或CHATML模板。

重要说明：

• 由于本模型的特殊性（混合专家架构/规模/激活专家数），GGUF量化版本可运行于CPU、GPU或混合卸载模式，直至全精度
• 本模型难以构建Imatrix：需要更大规模的多语言/多内容（如代码+文本）矩阵文件
• GPU速度将比纯CPU快4-8倍以上，且相比其他30B模型具有爆发式性能（每秒token数约相当于6B标准模型）

详见原模型卡获取基准测试、使用方法、系统角色设置等： [ https://huggingface.co/Qwen/Qwen3-30B-A3B ]

不同专家数版本：
4专家高速版： [ https://huggingface.co/DavidAU/Qwen3-30B-A1.5B-High-Speed ]
12专家版： [ https://huggingface.co/DavidAU/Qwen3-30B-A4.5B-12-Cooks ]
16专家32k版： [ https://huggingface.co/DavidAU/Qwen3-30B-A6B-16-Extreme ]
24专家版： [ https://huggingface.co/DavidAU/Qwen3-30B-A7.5B-24-Grand-Brainstorm ]

可选系统角色：
（多数情况下千问3会自主生成推理块，此提示词非必需）

你是一个深度思考AI，可以通过超长思维链深入分析问题，通过系统性推理过程自我推演后再给出答案。请将思考过程包裹在<think></think>标签中，最后呈现解决方案。

各类LLM应用设置系统角色的方法详见下文《最大化模型性能》文档。

重要：高质量参数设置指南
使用本模型前（无论源代码/GGUF/其他量化格式），请查阅以下文档获取关键参数、采样器及高级设置（适用于多款AI应用）。

本模型属于"Class 1"（参数优化可显著提升表现）： [ https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters ]

说明：
该文档包含适用于任何模型（包括本模型类别）的增强方法。对于Class 3/4类别模型，必须根据用例正确设置默认参数，某些AI应用的默认设置可能导致表现不佳。该文档还包含能使非设计用例（如角色扮演等）流畅运行的进阶采样器设置。

额外福利：
文档中的参数设置适用于任何仓库的任何模型（包括全精度源代码），可全面提升模型表现。

建议同时访问DavidAU的GGUF仓库（即将上线）获取更多使用细节，特别是Class 3/4类别模型的最大化性能方案。

完整模型信息请访问： [ GGUFS仓库即将上线 ]

示例生成1：
温度1.2，重复惩罚1.06，惩罚范围64，topk 100，topp 0.95，minp 0.05
Q4KS量化（无Imatrix），纯CPU（Win11），LMSTUDIO
速度：11 token/秒（无GPU卸载）
GPU速度预计快4倍以上
注：部分格式在复制时丢失

提示词：
阐述如何利用夜间向太空辐射能量的冷却效应来降低全球温度

（完整思考过程与输出内容详见原文，此处从略）

示例生成2：
科幻微小说《最后通讯》
（参数设置同示例1）

故事梗概：
飞船驾驶舱内，最后幸存船员在电力耗尽前尝试向地球发送终讯。探讨孤独、牺牲与人类联结的主题。（完整800字小说内容详见原文）

示例生成3：
爱情场景《聚光灯下的邂逅》
（参数设置同示例1）

场景梗概：
威尔士小镇书店中，当红演员为躲狗仔与店主产生微妙化学反应。演员（自负又脆弱）的 charm offensive 遭遇店主（表面免疫实则心动）的另类吸引。（完整1000字对话体场景详见原文）