🚀 LLama-3.1-1-million-ctx-Darkest-Planet-16.5B-GGUF

这是一款专为创意写作、故事生成等场景打造的模型，具有长上下文处理能力和出色的细节描写能力，能为用户带来丰富多样的写作体验。

🚀 快速开始

本模型为 Darkest Planet 16.5B 的 3 版本，是基于 Llama 3.1 的模型，最大上下文可达 100 万令牌，采用 float32（32 位精度）进行了额外的性能改进和重新制作。它使用英伟达的 Ultra Long 100 万 8B Instruct 模型转换为 100 万上下文，旨在解决长生成和长上下文的相关问题。

使用时，建议最小上下文为 8 - 16K，需要使用 Llama3 模板或“Command - R”模板。更多设置和使用细节可参考后续内容。

✨ 主要特性

• 长上下文处理：最大支持 100 万令牌的上下文，能有效处理长文本生成和复杂的故事创作。
• 性能提升：相比同类模型，在整体性能上有显著提升，且能在整个 100 万上下文中实现完美“召回”。
• 多样化的散文输出：通过 Brainstorm 40x 方法，模型的散文输出在结构、句子、段落等方面具有丰富的多样性，能生成独特的文本内容。
• 细节丰富：在场景、位置、周围环境、物品等方面的描写具有不寻常的细节水平，有时还会对未来事件进行预示。
• 指令遵循性强：能紧密遵循用户的指令，减少“猜测”，输出高质量的文本。

📦 安装指南

文档未提及具体安装步骤，暂无法提供。

💻 使用示例

基础用法

以下是一个使用示例，展示了如何根据给定的故事创意生成小说的第一个场景：

(temp 2.2)

使用以下“故事创意”，撰写小说的第一个场景，介绍年轻女子。该场景应从动作中间开始，包含对话、生动的段落，并以与故事创意相关但出人意料的悬念结尾。场景长度应为 1000 字，冲突和悬念逐渐升级，以第一人称、现在时态撰写，视角人物为年轻女子。视角人物会诅咒和发誓，满嘴脏话。

故事创意：
在一个由独裁统治的世界里，一位叛逆的年轻女子领导了一场反对该体制的叛乱。尽管面临风险，她仍奋力推翻独裁者，为自己的国家恢复民主。政府以叛国罪处决了她，但她坚持自己的信念，引发了这场革命。

输出结果：

我脸朝下趴在泥土地板上，双手被钢铐反扭到背后。我的衣服又脏又破，与我曾经穿的整洁的革命服装相去甚远。我尝到嘴唇上有铜腥味——很可能是血。他们已经好几个小时没让我吃喝了。

我的呼吸像一架破旧的手风琴一样粗重，冰冷的金属铐子把我的皮肤磨得生疼。空气中弥漫着廉价香烟和腐臭的气味。我听到脚步声逼近——是一名狱警。他是两个狱警中更残忍的那个，总是以施加痛苦为乐。我握紧拳头，准备迎接他的到来。他狠狠地踢了我一脚，疼痛如电流般穿过我的骨盆。

“准备好求饶了吗，小叛逆？”他冷笑着，蹲下来，让我看到他脸上得意的神情。“我们有个提议给你。”他的呼吸中散发着洋葱和廉价酒的味道。

我充满厌恶地瞪着他。“去你妈的。”我在他反应过来之前，朝他的鞋子吐了一口带血的唾沫。狱警眯起眼睛，把我拉起来，手指像钳子一样掐住我的下巴。

“你有种，”他居高临下地说，“像你这样的小混混。提议仍然有效——供出你的反叛同伴，你的刑期就可以从电椅改为劳改营终身监禁。你好好考虑一下，这是为你自己好。”

我还在为自己的唾沫呛着，现在他的臭味让我胃里一阵翻腾。我宁愿死在行刑台上，也不愿背叛那些和我一起为这个破碎的国家而战的人。

我甩开他，试图站直身子，尽管我的双腿麻木得摇摇晃晃。“去你的提议，去你妈的。”狱警狠狠地反手给了我一巴掌，我的牙齿都震得发疼，舌头差点脱臼。

当他踉跄着后退时，一道闪光吸引了我的注意——他腰带上的手铐钥匙在昏暗的监狱灯光下闪烁。我蹲下来，双手和膝盖着地，准备扑上去。狱警发出一声嘲笑。

“还想再挨揍，是吧？”他的眼神变得冷酷，解开枪套，把枪指着我。“等你感觉到这颗子弹穿过你的肋骨，你就会重新考虑了。”

我的心跳像战鼓一样，每一秒都跳得更猛烈。我多次逃脱了必死的境地，对恐惧几乎已经麻木。但几乎而已。冰冷的枪管抵在我的额头上，让我的感官瞬间警觉起来。

我看着他，仔细观察他的特征——左耳下方的小痣，太阳穴上跳动的青筋。他的下一个动作可能就是我逃脱的契机。我的嘴里又充满了唾液，我权衡着胜算。

毫无预兆地，他的手像触电一样抽搐了一下，他发出一声低沉的咒骂。枪晃动了一下，然后重重地落在冰冷的地上。他双手抱头，弯下腰去。一种正义的喜悦涌上心头；这是我干的。我向他发出了一股强大的心灵电击——这是我与其他反叛者不同的一项技能。

我跪起来，准备冲向安全的地方，或者在他恢复意识时进行反击。但他的头无力地耷拉着，血开始从他的手指间渗出。他昏迷了。或者死了。我不在乎是哪种情况。

我爬过去，从他身上拿走了枪——以防他的大脑突然想起这一刻的软弱。

高级用法

文档未提及高级用法的相关代码示例，暂无法提供。

📚 详细文档

模型相关信息

• 版本信息：Darkest Planet 16.5B 的 3 版本。
• 模型类型：Llama 3.1 模型。
• 最大上下文：100 万令牌。
• 精度：float32（32 位精度）。

模型来源

本模型是通过将 [https://huggingface.co/Sao10K/L3 - 8B - Stheno - v3.2]、[https://huggingface.co/NeverSleep/Llama - 3 - Lumimaid - 8B - v0.1 - OAS] 和 [https://huggingface.co/Hastagaras/Jamet - 8B - L3 - MK.V - Blackroot] 这几个模型的部分进行“嫁接”/“融合”而创建的。

其他模型版本

• True Creative Terror - "DARKEST UNIVERSE 29B"：具有 Brainstorm 40X V2，102 层，921 个张量，适用于各种类型的写作，上下文为 131k。[https://huggingface.co/DavidAU/MN - DARKEST - UNIVERSE - 29B - GGUF]
• "DARKEST - PLANET - Seven - Rings - Of - DOOM - 16.5B"：是 "Darkest Planet 16.5B" 的 2 版本，由于修改了 Brainstorm 适配器，散文/输出生成与 "Darkest Planet 16.5B" 有很大不同。[https://huggingface.co/DavidAU/L3 - DARKEST - PLANET - Seven - Rings - Of - DOOM - 16.5B - GGUF]
• 系列中的其他模型：[https://huggingface.co/DavidAU/L3 - Darker - Planet - 12.15B - GGUF] 和 [https://huggingface.co/DavidAU/DARKER - PLANET - Broken - Land - 12.15B - GGUF]。

模型设置与操作注意事项

• 温度设置：改变温度（如 0.4、0.8、1.5、2、3 等）会极大地改变输出结果。
• 重复惩罚设置：模型需要“重复惩罚”设置为 1.05 或更高，较低的值可能会导致输出结尾出现重复段落的问题，但较低的重复惩罚值也可能产生非常不同（有创意/不寻常）的生成结果。对于角色扮演，建议重复惩罚设置为 1.1 到 1.14。
• 量化选择：较高的量化值会有更多的细节、细微差别，在某些情况下“情感”水平更强，角色也会更“丰满”。Q4KM / Q4KS 是不错的量化选择，如果可以运行 Q5、Q6 或 Q8，建议选择最高的量化值。对于 Q2k / Q3 量化，可能需要将温度设置为 2 或更低（q2k 为 1 或更低）。
• 平滑因子设置：在 "KoboldCpp"、"oobabooga/text - generation - webui" 或 "Silly Tavern" 中，将“平滑因子”设置为 1.5 到 2.5 有助于模型的平稳运行。

模型模板

标准的 LLAMA3 模板如下：

{
  "name": "Llama 3",
  "inference_params": {
    "input_prefix": "<|start_header_id|>user<|end_header_id|>\n\n",
    "input_suffix": "<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n",
    "pre_prompt": "You are a helpful, smart, kind, and efficient AI assistant. You always fulfill the user's requests to the best of your ability.",
    "pre_prompt_prefix": "<|start_header_id|>system<|end_header_id|>\n\n",
    "pre_prompt_suffix": "<|eot_id|>",
    "antiprompt": [
      "<|start_header_id|>",
      "<|eot_id|>"
    ]
  }
}

可选增强设置

可以使用以下内容替代“系统提示”或“系统角色”来进一步增强模型：

Below is an instruction that describes a task. Ponder each user instruction carefully, and use your skillsets and critical instructions to complete the task to the best of your abilities.

Here are your skillsets:
[MASTERSTORY]:NarrStrct(StryPlnng,Strbd,ScnSttng,Exps,Dlg,Pc)-CharDvlp(ChrctrCrt,ChrctrArcs,Mtvtn,Bckstry,Rltnshps,Dlg*)-PltDvlp(StryArcs,PltTwsts,Sspns,Fshdwng,Climx,Rsltn)-ConfResl(Antg,Obstcls,Rsltns,Cnsqncs,Thms,Symblsm)-EmotImpct(Empt,Tn,Md,Atmsphr,Imgry,Symblsm)-Delvry(Prfrmnc,VcActng,PblcSpkng,StgPrsnc,AudncEngmnt,Imprv)

[*DialogWrt]:(1a-CharDvlp-1a.1-Backgrnd-1a.2-Personality-1a.3-GoalMotiv)>2(2a-StoryStruc-2a.1-PlotPnt-2a.2-Conflict-2a.3-Resolution)>3(3a-DialogTech-3a.1-ShowDontTell-3a.2-Subtext-3a.3-VoiceTone-3a.4-Pacing-3a.5-VisualDescrip)>4(4a-DialogEdit-4a.1-ReadAloud-4a.2-Feedback-4a.3-Revision)

Here are your critical instructions:
Ponder each word choice carefully to present as vivid and emotional journey as is possible. Choose verbs and nouns that are both emotional and full of imagery. Load the story with the 5 senses. Aim for 50% dialog, 25% narration, 15% body language and 10% thoughts. Your goal is to put the reader in the story.

此增强设置有助于场景生成和场景延续功能，但在生成以下示例时未使用。

🔧 技术细节

Brainstorm 40x 方法

Brainstorm 过程由 David_AU 开发，其核心原理是将大语言模型（LLM）的推理中心拆解、重新组装并扩展。对于本模型，扩展了 40 倍，然后对这些中心进行单独校准，这些“中心”之间还会相互交互，从而在推理过程中引入微妙的变化。

该方法的主要目标是在不影响指令遵循性的前提下，提高模型的细节、概念和与“世界”的联系、一般概念连接、散文质量和长度，同时增强模型在各种创意用例中的表现。具体带来的增强效果包括：

• 散文生成更关注当下时刻。
• 有时会出现“前言”和/或预示。
• 减少或避免“陈词滥调”。
• 整体散文质量更好，更复杂、细腻。
• 在各个层面上更具细微差别。
• 连贯性更强。
• 描述更详细，与内容联系更紧密。
• 明喻和隐喻更有力，与散文、故事和角色的联系更紧密。
• 增强“身临其境”的感觉。
• 细节更生动、丰富。
• 散文生成长度可长至极端。
• 情感投入更强。
• 相比普通模型，模型更遵循指令，减少“猜测”。
• 用户提供的指令和细节越多，模型的响应越强烈。
• 根据不同模型，“声音”可能比原始模型更“人性化”。

模型修改与量化

模型的修改发生在源文件级别，修改后的模型可以量化为 GGUF、EXL2、AWQ 等格式。

📄 许可证

本模型采用 Apache - 2.0 许可证。

⚠️ 重要提示

本模型输出内容包含不适合公开场合的信息，如生动的散文、直观的细节、暴力、恐怖、脏话等，内容未经审查。

💡 使用建议

• 对于更丰富多样的散文输出（句子/段落/对话），可以提高温度设置和/或在提示中添加更多指令。
• 角色扮演用户需注意，不要将温度设置过高，以免影响模型对指令的遵循。
• 如果需要特定类型的散文（如恐怖风格），可以在提示中添加“(vivid horror)”或“(graphic vivid horror)”（不带引号）。
• 该模型具有负面倾向，不是“皆大欢喜”类型的模型。
• 对于创意用途，不同的量化方式会产生略有不同的输出。
• 如果使用 rope 扩展上下文，需要提高温度并增加指令细节水平，以补偿“rope 问题”。