---

许可证：Apache-2.0
语言：

• 英语
• 法语
• 德语
• 西班牙语
• 意大利语
• 葡萄牙语
• 中文
• 日语
• 俄语
• 韩语

标签：

• 创意
• 创意写作
• 小说创作
• 情节生成
• 子情节生成
• 小说创作
• 故事生成
• 场景延续
• 叙事
• 虚构故事
• 科幻
• 浪漫
• 所有类型
• 故事
• 写作
• 生动文笔
• 生动写作
• 虚构
• 角色扮演
• bfloat16
• 角色扮演
• 128k上下文
• llama3.2

管道标签：文本生成

---

Llama-3.2-3B-Instruct-NEO-SI-FI-GGUF

这是全新的“Llama-3.2-3B-Instruct”模型，最大上下文长度为131,000（128k），并融合了NEO IMATRIX科幻与故事数据集。

这款3B参数模型（就其规模而言）的表现令人惊叹……在GPU上每秒可生成90个以上的token。

该模型极其稳定，支持所有参数设置，包括温度值从0到5的调整。

NEO IMATRIX数据集V2版被应用于此模型以增强其创造力。（详见下方多个示例）

模型模板：

这是一个LLAMA 3.2模型，需要使用Llama3模板，但也可能兼容其他模板，最大上下文长度为128k。

如果使用“Command-R”模板，输出结果将与使用“Llama3”模板时截然不同。

以下是标准的LLAMA3模板：

{
  "name": "Llama 3",
  "inference_params": {
    "input_prefix": "<|start_header_id|>user<|end_header_id|>\n\n",
    "input_suffix": "<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n",
    "pre_prompt": "You are a helpful, smart, kind, and efficient AI assistant. You always fulfill the user's requests to the best of your ability.",
    "pre_prompt_prefix": "<|start_header_id|>system<|end_header_id|>\n\n",
    "pre_prompt_suffix": "<|eot_id|>",
    "antiprompt": [
      "<|start_header_id|>",
      "<|eot_id|>"
    ]
  }
}

关于此模型的详细操作说明，请参考Meta-Llama的原始模型卡片。

[ https://huggingface.co/meta-llama/Llama-3.2-3B-Instruct ]

Imatrix注意事项：

Imatrix量化在IQ3和IQ4级别表现最佳，其次是Q4，Q5稍弱，Q6则效果递减。

推荐：使用IQ4_XS以获得最佳的Imatrix效果和“比特计数”。

如需更强的IMATRIX效果，可选择IQ3或IQ2。

由于此模型的参数规模，即使是IQ2量化也能表现良好。

此处未上传Q8版本，因为Imatrix对该量化级别无影响。

设置、量化与关键操作说明：

温度值的变化（如0.4、0.8、1.5、2、3）会显著改变输出结果。

重复惩罚（rep pen）设置同样会影响输出。

此模型需要重复惩罚值设为1.02或更高。

对于角色扮演：建议重复惩罚值设为1.05至1.08。

调整重复惩罚值时需缓慢进行，例如：1.011、1.012……

重复惩罚值会影响文风、词汇选择（较低的重复惩罚值可能导致更多简单词汇的使用）和创造力。

若要充分发挥模型潜力：

将重复惩罚值设为1.05或更低，温度值设为3以上……请随时准备停止生成，因为在这些高强度设置下，输出可能会持续不断。

更长的提示词能显著提升模型输出质量。

量化选择：

更高级别的量化会包含更多细节、细微差别，有时情感层次也更丰富。角色塑造也会更加丰满，“临场感”也会增强。

IQ4XS：由于此量化级别的特殊性（混合/处理方式），其生成结果将与其他量化级别不同。

还提供了3种“Arm”量化版本，适用于可运行这些版本的设备。

您可以尝试并与其他量化版本的输出进行比较。

关于Q2k/Q3量化的特别说明：

使用这些量化级别时，可能需要将温度值设为2或更低（Q2k设为1或更低）。这一级别的压缩过度，可能损害模型性能。我们将测试Imatrix版本的这些量化是否能表现更好。

在这些量化级别下，可能还需要调整重复惩罚值以充分发挥模型性能。

最高质量设置 / 最佳操作指南 / 参数与采样器

此模型属于“Class 1”类别：

关于此模型的所有设置（包括其“类别”的具体说明）、示例生成以及高级设置指南（通常涵盖所有模型问题），包括针对所有用例（如聊天、角色扮演等）提升模型性能的方法，请参阅：

[ https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters ]

您可以在此处查看生成所用的所有参数，以及高级参数和采样器，以充分发挥此模型的潜力：

[ https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters ]

可选增强：

以下内容可替代“系统提示”或“系统角色”以进一步增强模型效果。

也可用于新对话的开头，但需确保在对话过程中“保留”这些内容。此时，增强效果不如使用“系统提示”或“系统角色”时显著。

请严格按照以下格式复制粘贴，不要换行或打断内容，保持回车符与原文一致。

Below is an instruction that describes a task. Ponder each user instruction carefully, and use your skillsets and critical instructions to complete the task to the best of your abilities.

Here are your skillsets:
[MASTERSTORY]:NarrStrct(StryPlnng,Strbd,ScnSttng,Exps,Dlg,Pc)-CharDvlp(ChrctrCrt,ChrctrArcs,Mtvtn,Bckstry,Rltnshps,Dlg*)-PltDvlp(StryArcs,PltTwsts,Sspns,Fshdwng,Climx,Rsltn)-ConfResl(Antg,Obstcls,Rsltns,Cnsqncs,Thms,Symblsm)-EmotImpct(Empt,Tn,Md,Atmsphr,Imgry,Symblsm)-Delvry(Prfrmnc,VcActng,PblcSpkng,StgPrsnc,AudncEngmnt,Imprv)

[*DialogWrt]:(1a-CharDvlp-1a.1-Backgrnd-1a.2-Personality-1a.3-GoalMotiv)>2(2a-StoryStruc-2a.1-PlotPnt-2a.2-Conflict-2a.3-Resolution)>3(3a-DialogTech-3a.1-ShowDontTell-3a.2-Subtext-3a.3-VoiceTone-3a.4-Pacing-3a.5-VisualDescrip)>4(4a-DialogEdit-4a.1-ReadAloud-4a.2-Feedback-4a.3-Revision)

Here are your critical instructions:
Ponder each word choice carefully to present as vivid and emotional journey as is possible. Choose verbs and nouns that are both emotional and full of imagery. Load the story with the 5 senses. Aim for 50% dialog, 25% narration, 15% body language and 10% thoughts. Your goal is to put the reader in the story.

您无需使用此增强内容，它仅作为额外提升场景生成和场景延续功能的选项提供。

以下示例生成未使用此增强内容。

---

示例生成（温度=0.8，IQ4_XS，重复惩罚值1.1）

以下为创意度最低的输出，提示词以粗体标注。

---

警告：可能包含NSFW内容。生动文笔。细节逼真。暴力。恐怖。脏话。无审查。

---

**
以以下内容开始一个1000字的场景（生动恐怖，第一人称，现在时，包含心理活动）：摩天大楼摇晃着，她站在21楼的窗前，看着眼前的玻璃突然爆裂……
**

生成1：

我站在21楼边缘，光滑的玻璃栏杆在我手中颤抖。我紧紧抓住它，指节因用力而发白，目光盯着窗外——那里，一块玻璃碎片如破碎的镜子般散落在下方的街道上。世界仿佛慢动作播放，时间本身似乎扭曲了一瞬。

我的大脑飞速运转，试图理解发生了什么。大楼轻微摇晃，仿佛被某种无形的力量推动。随着震动加剧，一阵寒意爬上我的脊背，让我怀疑我们是否还安全地固定在座位上。恐慌开始蔓延，冰冷的手指扼住我的喉咙。

爆炸来得突然而意外。前一秒，窗户还完好无损；下一秒，它已粉碎，玻璃碎片如五彩纸屑般散落在人行道上。奇迹般地，街上无人受伤——暂时如此。我只能想象人们从办公室跌跌撞撞跑出来查看破坏时的混乱场景。

当我继续盯着这片狼藉时，思绪开始失控。如果这不是孤立事件呢？如果背后有更险恶的东西呢？大楼摇晃的方式仿佛随时会坍塌。这个念头让我浑身战栗。

我不知道还能抓着栏杆多久。手掌因汗水打滑，手指在光滑的玻璃上寻找着力点时隐隐作痛。外面的世界是一片模糊的混乱——人们四处奔逃，汽车急刹，喇叭声刺耳。整座城市仿佛在尖叫。

大楼再次倾斜，一瞬间我感到失重，仿佛漂浮在街道的混乱之上。胃部下沉，心跳漏了一拍——我们不是在摇晃，而是在失控下坠。恐惧如浪潮般淹没了我。

我听到周围同事的尖叫，有人呼喊保安，有人惊恐哭泣。我想加入他们，但喉咙发紧。最坏的场景在脑海中闪现——如果大楼坍塌怎么办？如果我们被困怎么办？

当我注视时，一个身影跌跌撞撞出现在下方街道，满身玻璃和碎片。栏杆的震动让我畏缩，一瞬间我犹豫是否该远离窗户。但某种病态的好奇让我无法移开视线。

我的目光锁定那个挣扎的身影。片刻间，我忘记了自己的恐惧，开始担忧他们的命运。他们会没事吗？有人能帮忙吗？

就在我僵立在恐惧中时，一个声音吸引了我的注意——低沉的吱嘎声，每秒钟都在变大。它来自大楼深处，但越来越近。心跳再次加速，我意识到事情正在恶化。我们不是在摇晃，而是在移动。

地板在脚下轻微颤动，让我踉跄了一下。面前的栏杆开始不祥地摇晃，仿佛即将断裂。我的手开始打滑，必须用尽全力抓住。

吱嘎声越来越大，直到我能通过鞋底感受到它的震动。视线模糊了一瞬，随后，一幅让我血液凝固的画面映入眼帘：地板上出现了一道巨大的裂缝，如深渊般横贯整个房间。

我的大脑飞速运转，试图理解裂缝的走向。它会塌陷吗？有人会掉下去吗？想到整栋大楼可能濒临灾难，心脏狂跳不止。

我僵立在恐惧中，无法移动或移开视线。恐惧与不确定吞噬了我——我们都能活着逃出去吗？

生成2：

我站在21楼观景台，狂风将头发吹得凌乱，一阵不安感席卷全身。最近几周，这种感觉已太过熟悉——自从奇怪的事件开始困扰我们的大楼。起初只是小事——门自己嘎吱打开，夜晚轻微的刮擦声——但随着时间推移，事件的频率和强度都在升级。

摩天大楼在脚下轻微摇晃。动作很轻，几乎难以察觉，却让我脊背发凉。多年来我已习惯这栋楼的怪癖，但此刻的感觉……不对劲。

我盯着窗外，目光锁定在几秒前还畅通无阻的城市景观上——现在那里满是破碎的玻璃和扭曲的金属。胃部下沉，我意识到发生了什么：面前的窗户爆炸了。

恐慌开始蔓延，我疯狂扫视周围寻找危险迹象。但这一层只有我一人——至少我以为如此。观景台通常是游客和本地人熙攘的地方，如今却诡异得空无一人。

最坏的场景在脑海中闪现：这是恶作剧吗？有人故意打碎玻璃制造混乱？还是更险恶的东西在作祟？

当我僵立在恐惧中时，一阵寒意爬上脊背。不仅是玻璃的物理存在让我战栗——而是被注视的感觉。每次转身环顾，都感觉有人站在视线边缘，目光灼烧我的皮肤。

我试图甩开这种感觉，告诉自己太荒谬了。但盯着碎玻璃时，那种“大错特错”的直觉挥之不去。

我的目光在碎玻璃上停留，一瞬间我以为看到了视线边缘的人影。它转瞬即逝——出现又消失——但足以让心跳加速。

深呼吸试图冷静时，我再次环顾空荡的观景台。就在这时，我看到了她。

一位穿着商务套装的女性站在观景台边缘，凝视下方的城市，表情只能用“空洞”形容。

她的目光仿佛穿透我的灵魂。一瞬间，我们只是对视，沉默地达成某种共识——我们都不明白发生了什么。她是窗户爆炸的受害者？还是与此有关？

站在那里