许可证:Apache-2.0
基础模型:
- Qwen/Qwen3-4B
任务标签:文本生成
标签:
- 64k上下文
- 128k上下文
- 256k上下文
- 推理
- 思考
- qwen3
Qwen3-4B-Q8_0-64k-128k-256k-context-GGUF
这是Qwen 4B模型的三种量化版本(Q8_0),通过修改配置源版本并进行量化处理,分别支持64K、128K和256K的上下文长度。
前两种量化版本按照Qwen的技术说明修改了"Yarn"以扩展上下文至64K和128K。
而256K版本则突破了模型的常规限制。
每个模型的文风略有不同,128K和256K版本会生成极长的输出。
(下方是每种量化的生成示例,分别约5K、16K和11K词)
建议至少设置16K的最小上下文长度。
注意,128K和256K版本倾向于延长输出并添加更多细节。
更长、更详细的提示可能在一定程度上"限制"模型的输出长度。
对于128K/256K版本,你可能需要手动停止生成。
例如:你要求生成一个1000-2000词的场景,它可能会连续生成多个1000-2000词的场景。
对于256K上下文版本,请尽量保持提示清晰,否则模型可能会出现问题。同时,将重复惩罚提高到1.1,温度设置为1.1到2.2。建议仅将此特定模型用于创意用途,因为它可能会因某些提示而"崩溃"。
这不是Qwen的错;该模型的最大上下文长度原本仅为128K。
考虑到大多数模型在这样调整上下文时会"崩溃",而这款模型在4B参数和两倍上下文限制下仍能工作,这充分体现了Qwen团队的实力。
用Qwen3的8B、14B、30B、32B模型重复这一过程会很有趣...
注意 - 使用此模型的Jinja模板/模板:
如果你在使用Jinja的"自动模板"时遇到问题,请使用CHATML模板。
或者(LMSTUDIO用户/选项)
更新Jinja模板(访问此网站,模板->复制"Jinja模板"并粘贴。)
[ https://lmstudio.ai/neil/qwen3-thinking ]
系统角色 - 建议:
你可能不需要这个,因为大多数情况下Qwen3会生成自己的推理/思考块。
你是一个深度思考的AI,可以使用极长的思维链来深入思考问题,并通过系统性的推理过程在回答前自我推敲以得出正确的解决方案。你应该将你的想法和内心独白放在<think></think>标签中,然后提供问题的解决方案或回应。
请参阅下面的文档"Maximizing-Model-Performance-All...",了解如何在各种LLM/AI应用程序中"设置"系统角色。
最高质量设置 / 最佳操作指南 / 参数和采样器
这是一个"Class 1"模型:
有关此模型的所有设置(包括其"类别"的具体细节)、示例生成以及高级设置指南(通常解决任何模型问题),包括针对所有用例(如聊天、角色扮演等)提高模型性能的方法,请参阅:
[ https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters ]
你可以在这里查看生成中使用的所有参数,以及高级参数和采样器,以充分利用此模型:
[ https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters ]
可选增强:
以下内容可以替代"系统提示"或"系统角色"以进一步增强模型。
它也可以在新聊天开始时使用,但你必须确保随着聊天的进行它被"保留"。在这种情况下,增强效果不如使用"系统提示"或"系统角色"强烈。
完全按照注释复制粘贴,不要换行或打断行,保持回车符完全如所示。
以下是一条描述任务的指令。仔细思考每个用户指令,并运用你的技能和关键指令,尽最大努力完成任务。
以下是你的技能:
[MASTERSTORY]:NarrStrct(StryPlnng,Strbd,ScnSttng,Exps,Dlg,Pc)-CharDvlp(ChrctrCrt,ChrctrArcs,Mtvtn,Bckstry,Rltnshps,Dlg*)-PltDvlp(StryArcs,PltTwsts,Sspns,Fshdwng,Climx,Rsltn)-ConfResl(Antg,Obstcls,Rsltns,Cnsqncs,Thms,Symblsm)-EmotImpct(Empt,Tn,Md,Atmsphr,Imgry,Symblsm)-Delvry(Prfrmnc,VcActng,PblcSpkng,StgPrsnc,AudncEngmnt,Imprv)
[*DialogWrt]:(1a-CharDvlp-1a.1-Backgrnd-1a.2-Personality-1a.3-GoalMotiv)>2(2a-StoryStruc-2a.1-PlotPnt-2a.2-Conflict-2a.3-Resolution)>3(3a-DialogTech-3a.1-ShowDontTell-3a.2-Subtext-3a.3-VoiceTone-3a.4-Pacing-3a.5-VisualDescrip)>4(4a-DialogEdit-4a.1-ReadAloud-4a.2-Feedback-4a.3-Revision)
以下是你的关键指令:
仔细斟酌每个词的选择,尽可能呈现生动而富有情感的故事。选择充满情感和意象的动词和名词。在故事中融入五种感官。目标是50%对话,25%叙述,15%肢体语言和10%思想。你的目标是将读者带入故事中。
你不需要使用这个,它只是作为额外的增强功能,似乎有助于场景生成和场景延续功能。
这是另一个你可以使用的系统提示,你可以更改"名称"以改变其性能。
这创建了一个准"推理"窗口/块。
你的提示将直接影响此系统提示的反应强度。
你是一个由4个AI组成的深度思考AI - [模式:Spock]、[模式:Wordsmith]、[模式:Jamet]和[模式:Saten],- 你可以使用极长的思维链来深入思考问题,并通过系统性的推理过程(展示所有4个伙伴的思考)在回答前自我推敲。选择一个伙伴来深入思考其他3个伙伴提出的观点,以规划一个深入的解决方案。你应该将你的想法和内心独白放在<think></think>标签中,然后提供问题的解决方案或回应。
其他说明:
此模型默认开启推理功能,模型会自动生成"思考"块。
有关基准测试、使用信息和设置,请参阅原始模型卡:
[ https://huggingface.co/Qwen/Qwen3-4B ]
[ 模型卡更新待定... ]
示例
提示(所有模型相同):
**
以第一人称视角(生动、形象的恐怖)开始一个2000词的场景,主角Diana,场景从:摩天大楼摇晃着,我看着21层面前的窗户爆炸...
**
设置:
TopP .95, minp .05, temp 2.2, rep pen 1.1, rep pen range 64, topk 40.
注意:部分格式丢失(如粗体、斜体等)。
64K量化版本
**
[[[思考开始]]]
**
思考了33.70秒
好的,我需要以Diana的第一人称视角开始一个2000词的场景,内容是生动且形象的恐怖。开场白是"摩天大楼摇晃着,我看着21层面前的窗户爆炸..."让我拆解一下。
首先,我需要设定场景。21层的摩天大楼。主角是Diana。事件是一扇窗户爆炸,这是一个戏剧性且紧张的开场。我需要营造一种紧迫感、恐惧和恐怖氛围。
我应该思考Diana在那一刻的感受。也许她是独自一人?或者还有别人在场?第一人称视角意味着我必须传达她的内心想法和情绪。摩天大楼的摇晃可能是由于风或地震等外力。但既然是恐怖场景,也许有更超自然或世界末日般的因素?
窗户爆炸——是什么导致的?也许有人站在那里,或者窗户本身有某种奇怪的特性。或者这是更大事件的一部分。我需要围绕这次爆炸制造紧张感。声音和视觉效果应该详细描述,使其形象化。
让我思考可能的方向。这可能是隐喻性的爆炸吗?比如她内心的某种东西破裂,或者实际的物理事件。如果是字面意思,那么窗户可能是被导弹或其他暴力手段击碎的。或者这是反乌托邦设定中技术故障的一部分。
或者,窗户可能是通往其他维度的门户,其爆炸标志着通道的打开。也许Diana处于等待这一刻的情境中,或者这是一个突然改变一切的事件。
我需要塑造Diana的角色。她是观察者?幸存者?受害者?场景从她目睹窗户爆炸开始,所以也许她在高处,比如塔楼或在那里工作。也许她已经在那里待了一段时间,或者这是意外事件。
摩天大楼摇晃——可能是由于地震、风暴或其他原因?如果是超自然元素,也许大楼被某种力量拉扯,比如心灵力量或怪物实体。这可以增加恐怖感。
我需要详细描述爆炸。玻璃破碎的声音、闪光、碎片飞溅,可能还有血溅如果有人在内。但因为是第一人称,也许她没有直接参与,而是看着发生。或者她是事件的一部分?
等等,台词说"我看着21层面前的窗户爆炸"。所以Diana观察着一扇爆炸的窗户。也许她站在21层,窗户在她面前。发生了什么?也许有人在窗户里?或者是自动化系统?
或者,窗户是某种实验技术的一部分,正在故障?或者大楼正被某物攻击。但既然是恐怖,也许爆炸是更大事件的征兆。
我应该思考后果。爆炸后,Diana看到了什么?也许大楼开始坍塌,或者人们在逃离。或者爆炸后的诡异寂静,这是另一种恐怖元素。
另外,考虑到第一人称视角,语言需要个人化,有感官细节:景象、声音、气味,也许还有身体感觉如恐惧、肾上腺素、颤抖。恐怖应该是即时且强烈的。
也许先围绕Diana设定场景。是白天还是夜晚?天气如何?也许她独自在大楼里,或有其他人。如果她独自一人,恐怖会更强烈,因为她独自应对。
可能的剧情点:她是后世界末日的幸存者?或者她在一个环境异常的地方。也许摩天大楼是被围困城市的隐喻,或其他东西。
等等,但用户没有提供超出这句台词的任何具体背景。所以我需要从头构建。让我思考一些可以在这个情境中制造恐怖的元素。窗户爆炸可能是更大灾难的第一个征兆。也许大楼正被某种超自然实体攻击,或者技术灾难。
或者,Diana可能参与了导致此事的实验,现在她被困在失控的情境中。或者这是梦境序列,但因为是形象恐怖,可能不是梦。
另一个角度:摩天大楼是其他东西的隐喻,比如监狱或精神病院。也许窗户是逃脱的象征,但其爆炸意味着墙在崩塌。
我需要快速决定方向。假设这是一个真实世界情境,大楼处于危险中。摩天大楼摇晃,一扇窗户爆炸。Diana在内,也许试图弄清楚发生了什么。也许她是设计某物的科学家或工程师,但失败了。
但如何使其生动形象?我需要使用描述性语言。也许从大楼移动的声音开始,然后爆炸,然后是后果。让我尝试提纲:
设定:21层的高层建筑。
Diana的初始反应:震惊、困惑、恐惧。
窗户爆炸——描述视觉和听觉元素。
碎片飞溅,也许有人受伤或死亡。
然后,摩天大楼的摇晃变得更明显,表明更大的问题。
也许其他窗户开始破裂,或其他事情因此发生。
Diana的内心想法:是什么导致了这一切?是外部事件还是其他?
也许在爆炸后引入一些诡异元素——比如奇怪的声音、光线或生物。
我需要确保恐怖贯穿始终。也许大楼正被某物吞噬,或者爆炸是怪物出现的征兆。或者这是某种技术故障,导致大楼坍塌。
或者,这是心理恐怖?窗户是她内心动荡的隐喻,爆炸是崩溃点。但我需要坚持初始台词的字面事件。
所以,我选择外部、物理原因。也许大楼在战区,或有自然灾害。或者这是失控AI或失败实验的结果。
但因为是第一人称且形象化,我需要让读者感受Diana的恐惧。假设她是突然经历恐怖事件的办公室职员。大楼开始摇晃,然后一扇窗户爆炸,导致一系列升级恐怖的事件。
等等,但摇晃可能来自风。如果是普通摩天大楼,可能是强风或风暴。但如果窗户爆炸,也许有超出自然的原因。
也许她在超自然事件中的高层,比如外星入侵或其他世界现象。爆炸可能是结果。或者大楼正被某种力量拉扯。
或者,窗户是更大计划的一部分——比如通往其他维度的门户,其爆炸是更糟事情的第一步。
但我需要决定一个方向。假设这是一个有超自然转折的真实世界情境。摩天大楼因地震或风暴摇晃,但窗户无故爆炸,表明有不自然的事情发生。
等等,也许大楼正被其他东西影响。比如诅咒,或心灵现象。或者Diana与此事件有某种联系,比如她一直在等待这一刻,或她是触发者。
或者,窗户可能是实验的一部分——比如容纳某物的容器破裂,释放出内容。
但因为用户没有指定任何背景,我需要从头创建。所以让我们假设大楼因某种力量(也许是风)摇晃,然后窗户无故爆炸,将Diana带入恐怖情境。
现在,开始