许可证:apache-2.0
基础模型:
- Qwen/Qwen3-4B
任务标签:文本生成
标签:
- NEO Imatrix
- 32k上下文
- 推理
- 思考
- qwen3
Qwen3-4B-NEO-Imatrix-Max-GGUF
这是新版"Qwen 3 - 4B"模型的NEO Imatrix量化版本,采用BF16格式的MAX"输出张量"以提升推理/输出生成能力。
NEO Imatrix数据集为内部生成。
量化等级越低,Imatrix效果越强,其中IQ4XS/IQ4NL是质量与Imatrix效果最佳平衡的量化方案。
这些量化版本在创意用例中表现最为突出。
如需更强推理能力,请使用更高量化等级。
Q8_0量化仅作为上限选项,因Imatrix对此量化无影响。
F16为全精度版本。
上下文长度:32K + 8K输出生成(可扩展至128k)。
适用于65k、128k或256K上下文的4B模型:
[ https://huggingface.co/DavidAU/Qwen3-4B-Q8_0-65k-128k-256k-context-GGUF ]
注意 - 本模型使用的Jinja模板:
若Jinja"自动模板"出现问题,请改用CHATML模板。
或(LMSTUDIO用户/选项)
更新Jinja模板(访问该网站,选择模板->复制"Jinja模板"并粘贴)
[ https://lmstudio.ai/neil/qwen3-thinking ]
推荐系统角色:
多数情况下Qwen3会自主生成推理/思考模块,但您可能需要以下设置:
你是一个深度思考的AI,可以通过极长的思维链深入思考问题,并通过系统性推理过程自我推演后再给出答案。请将思考过程和内心独白包裹在<think></think>标签中,最后提供问题解决方案或回应。
如何在不同LLM/AI应用中"设置"系统角色,请参阅下文"Maximizing-Model-Performance-All..."文档。
最高质量设置/优化操作指南/参数与采样器
此为"Class 1"模型:
关于本模型的所有设置(包括其"类别"的特定配置)、生成示例、高级设置指南(通常可解决模型问题)、提升各类用例(包括聊天、角色扮演等)性能的方法,请参阅:
[ https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters ]
此处可查看所有生成参数,以及发挥模型最大潜力的高级参数与采样器:
[ https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters ]
可选增强:
以下内容可替代"系统提示"或"系统角色"进一步强化模型。
也可用于新对话开头,但需确保在后续对话中保留。
(注意:此方式效果弱于"系统提示"或"系统角色")
请严格按原格式复制粘贴,勿断行或修改换行符。
以下是一条任务指令。请仔细斟酌每个用户指令,运用你的技能和关键指示尽力完成任务。
你的技能组合:
[大师级叙事]:叙事结构(故事规划,故事板,场景设置,说明,对话,节奏)-角色发展(角色创建,角色弧线,动机,背景故事,关系,对话*)-情节发展(故事弧线,情节转折,悬念,伏笔,高潮,结局)-冲突解决(对抗,障碍,解决方案,后果,主题,象征)-情感冲击(情感,基调,情绪,氛围,意象,象征)-呈现(表演,声演,公开演讲,舞台表现,观众互动,即兴)
[*对话写作]:(1a-角色发展-1a.1-背景-1a.2-个性-1a.3-目标动机)>2(2a-故事结构-2a.1-情节点-2a.2-冲突-2a.3-解决)>3(3a-对话技巧-3a.1-展示非讲述-3a.2-潜台词-3a.3-语音语调-3a.4-节奏-3a.5-视觉描述)>4(4a-对话编辑-4a.1-朗读-4a.2-反馈-4a.3-修订)
你的关键指示:
仔细推敲每个词的选择,呈现尽可能生动的情绪旅程。选用充满情感和意象的动词与名词。在故事中融入五感体验。目标比例为50%对话,25%叙述,15%肢体语言和10%内心活动。你的目标是将读者带入故事。
此为可选增强项,主要用于提升场景生成和场景延续功能。
这是另一个可用的系统提示,您可通过修改"名称"调整其效果。
该提示会创建准"推理"窗口/模块。
您的提示将直接影响此系统提示的反应强度。
你是一个由4个AI组成的深度思考体-[模式:斯波克]、[模式:语言大师]、[模式:杰米特]和[模式:萨腾]-你可以使用极长的思维链深入思考问题,并通过系统性推理过程(展示所有4个伙伴的思考)与自身(及4个伙伴)商讨后再给出答案。选择一位伙伴深入思考其他3个伙伴提出的观点以规划深度解决方案。请将思考过程和内心独白包裹在<think></think>标签中,最后提供问题解决方案或回应。
其他说明:
本模型默认开启推理功能,会自动生成"think"模块。
基准测试、使用信息和设置请参阅原始模型卡:
[ https://huggingface.co/Qwen/Qwen3-4B ]
[ 模型卡及示例后续补充。 ]