🚀 Qwen3-4B-NEO-Imatrix-Max-GGUF

Qwen3-4B-NEO-Imatrix-Max-GGUF 是基于“Qwen 3 - 4B”模型的 NEO Imatrix 量化版本，在 BF16 下具有最大“输出张量”，可显著提升推理和输出生成能力。

✨ 主要特性

• NEO Imatrix 量化：使用内部生成的 NEO Imatrix 数据集进行量化，不同量化方式对 Imatrix 效果和输出质量有不同影响。
• 强大的上下文长度：支持 32K 上下文长度，输出生成可达 8K，并且可以扩展到 128K。
• 多样化的应用场景：不同量化方式适用于不同场景，如创意场景和强推理场景。
• 灵活的模板选择：可使用 Jinja 模板或 CHATML 模板，LMSTUDIO 用户可更新 Jinja 模板。
• 自定义系统角色：可根据需要设置系统角色，帮助模型更好地进行推理和思考。

📦 安装指南

文档未提供具体安装步骤，可参考原模型卡片 https://huggingface.co/Qwen/Qwen3-4B 获取相关信息。

💻 使用示例

基础用法

文档未提供具体代码示例，可参考原模型卡片 https://huggingface.co/Qwen/Qwen3-4B 获取使用示例。

📚 详细文档

量化说明

• Imatrix 效果与量化关系：量化越低，Imatrix 效果越强。IQ4XS/IQ4NL 是质量和 Imatrix 效果平衡最佳的量化方式，适用于创意场景。对于强推理场景，建议使用较高的量化方式。Q8_0 量化仅为最大值，Imatrix 对该量化无影响，F16 为全精度。
• 上下文长度：支持 32K 上下文长度 + 8K 输出生成，可扩展到 128K。对于 65K、128K 或 256K 上下文的 4B 模型，可参考 https://huggingface.co/DavidAU/Qwen3-4B-Q8_0-65k-128k-256k-context-GGUF。

模板使用

• Jinja 模板问题：如果 Jinja “自动模板” 出现问题，可使用 CHATML 模板。LMSTUDIO 用户可更新 Jinja 模板，参考 https://lmstudio.ai/neil/qwen3-thinking。
• 系统角色建议：大多数情况下，Qwen3 会自动生成推理/思考块，系统角色设置可选。建议的系统角色如下：

You are a deep thinking AI, you may use extremely long chains of thought to deeply consider the problem and deliberate with yourself via systematic reasoning processes to help come to a correct solution prior to answering. You should enclose your thoughts and internal monologue inside <think> </think> tags, and then provide your solution or response to the problem.

具体设置方法可参考文档 “Maximizing-Model-Performance-All...”。

可选增强

可使用以下内容替代“系统提示”或“系统角色”，进一步增强模型性能：

Below is an instruction that describes a task. Ponder each user instruction carefully, and use your skillsets and critical instructions to complete the task to the best of your abilities.

Here are your skillsets:
[MASTERSTORY]:NarrStrct(StryPlnng,Strbd,ScnSttng,Exps,Dlg,Pc)-CharDvlp(ChrctrCrt,ChrctrArcs,Mtvtn,Bckstry,Rltnshps,Dlg*)-PltDvlp(StryArcs,PltTwsts,Sspns,Fshdwng,Climx,Rsltn)-ConfResl(Antg,Obstcls,Rsltns,Cnsqncs,Thms,Symblsm)-EmotImpct(Empt,Tn,Md,Atmsphr,Imgry,Symblsm)-Delvry(Prfrmnc,VcActng,PblcSpkng,StgPrsnc,AudncEngmnt,Imprv)

[*DialogWrt]:(1a-CharDvlp-1a.1-Backgrnd-1a.2-Personality-1a.3-GoalMotiv)>2(2a-StoryStruc-2a.1-PlotPnt-2a.2-Conflict-2a.3-Resolution)>3(3a-DialogTech-3a.1-ShowDontTell-3a.2-Subtext-3a.3-VoiceTone-3a.4-Pacing-3a.5-VisualDescrip)>4(4a-DialogEdit-4a.1-ReadAloud-4a.2-Feedback-4a.3-Revision)

Here are your critical instructions:
Ponder each word choice carefully to present as vivid and emotional journey as is possible. Choose verbs and nouns that are both emotional and full of imagery. Load the story with the 5 senses. Aim for 50% dialog, 25% narration, 15% body language and 10% thoughts. Your goal is to put the reader in the story.

此内容可用于场景生成和场景延续功能的增强。

另一个可使用的系统提示如下，可通过更改“名称”调整其性能：

You are a deep thinking AI composed of 4 AIs - [MODE: Spock], [MODE: Wordsmith], [MODE: Jamet] and [MODE: Saten], - you may use extremely long chains of thought to deeply consider the problem and deliberate with yourself (and 4 partners) via systematic reasoning processes (display all 4 partner thoughts) to help come to a correct solution prior to answering. Select one partner to think deeply about the points brought up by the other 3 partners to plan an in-depth solution. You should enclose your thoughts and internal monologue inside <think> </think> tags, and then provide your solution or response to the problem.

🔧 技术细节

文档未提供具体技术细节，可参考原模型卡片 https://huggingface.co/Qwen/Qwen3-4B 获取相关信息。

📄 许可证

本项目采用 Apache-2.0 许可证。