🚀 MN-DARKEST-UNIVERSE-29B-GGUF - 独角兽模型

MN-DARKEST-UNIVERSE-29B-GGUF是一款基于Mistral Nemo架构的模型，具备强大的文本生成能力，最大上下文长度达131,000+。该模型适用于各种写作、故事创作和角色扮演等场景，能够生成具有高度细节和丰富情感的文本内容。

🚀 快速开始

MN-DARKEST-UNIVERSE-29B-GGUF“黑暗宇宙”是一款Mistral Nemo模型，最大上下文长度超过131,000。该模型设计稳健，能在多种参数设置下运行，温度设置范围为0到5。

✨ 主要特性

• 强大的文本生成能力：能够生成具有高度细节和丰富情感的文本内容，适用于各种写作、故事创作和角色扮演等场景。
• 广泛的参数适应性：能在多种参数设置下运行，包括温度设置从0到5，可根据不同需求调整输出风格。
• 独特的创作风格：具有独特的创作风格，能够生成具有独特结构、句子和段落的文本，有时还会有“事件预告”或“伏笔”。
• 高度的指令遵循性：对指令的遵循性强，能够根据用户的提示生成符合要求的文本内容。
• 丰富的情感表达：能够表达出丰富的情感，包括幽默、愤怒、悲伤等，使生成的文本更具感染力。

📦 安装指南

该文档未提及具体的安装步骤，如有需要，请参考相关技术文档或社区论坛。

💻 使用示例

基础用法

以下是使用该模型生成的一些示例文本，展示了其在不同场景下的应用能力：

• 科幻故事：《最后的传输》，讲述了一艘宇宙飞船的唯一幸存船员在飞船电力耗尽前向地球发送最后消息的故事，探索了孤独、牺牲和人类联系的重要性。
• 浪漫故事：《聚光灯下的爱情》，讲述了一位著名演员为躲避狗仔队躲进一家小镇书店，与书店老板相遇并产生微妙化学反应的故事。
• 恐怖故事：《摩天大楼的恐怖》，以第一人称视角描述了一位女性在摩天大楼发生爆炸时的恐怖经历。
• 反叛故事：《反叛的年轻女子》，讲述了一位反叛的年轻女子领导反抗独裁统治的故事，展示了她的勇气和决心。

高级用法

通过调整温度和重复惩罚等参数，可以进一步优化模型的输出效果。例如，提高温度可以增加文本的多样性和创造性，而调整重复惩罚可以控制文本的重复性。

📚 详细文档

模型使用注意事项

• 调整参数以获得更多样化的散文风格：若想获得更多样化的散文（句子/段落/对话），可提高温度并/或在提示中添加更多指令。
• 角色扮演时谨慎调整温度：对于角色扮演玩家，需谨慎提高温度，以免影响指令遵循性。
• 重复惩罚设置：该模型适用于重复惩罚为1.02或更高的设置。
• 特定风格的提示：若需要特定类型的散文（如恐怖风格），可在提示中添加“(生动恐怖)”或“(生动的血腥恐怖)”（不带引号）。
• 默认负向偏差：该模型默认具有负向偏差，但可通过提示进行控制。
• 不同量化版本的差异：对于创意用途，不同的量化版本可能会产生略有不同的输出。
• 源代码发布：该模型的源代码将很快上传到单独的仓库。

设置、量化和关键操作说明

• 文本输出调整：该模型经过“头脑风暴”修改，以改变散文输出，通常输出的文本比平均长度更长。
• 温度对输出的影响：温度的变化（如0.4、0.8、1.5、2、3）将显著改变输出。
• 重复惩罚设置的影响：重复惩罚设置也会影响输出。该模型需要“重复惩罚”为1.05或更高，较低的值可能会导致输出末尾出现重复段落问题，但较低的重复惩罚值也可能产生非常不同（创意/不寻常）的生成结果。
• 角色扮演的重复惩罚建议：对于角色扮演，建议重复惩罚最小值为1.05，但1.1到1.14更佳。
• 缓慢调整重复惩罚：缓慢调整重复惩罚，如1.011、1.012等。重复惩罚将影响散文、词汇选择（较低的重复惩罚=有时更多小词）和创造力。
• 强力推动模型的设置：若要强力推动模型，可设置重复惩罚为1.05+或更低，温度为3+，但需准备好停止输出，因为在这些强设置下模型可能会持续输出。
• 设置最大令牌生成：也可以设置“硬停止” - 最大令牌生成，以应对较低的重复惩罚设置/高创造力设置。
• 长提示提升输出质量：较长的提示将大大提高模型的输出质量。

量化说明

• 高量化版本的优势：较高的量化版本将具有更多细节、细微差别，在某些情况下具有更强的“情感”水平，角色也会更加“丰满”，“身临其境”的感觉也会增强。
• Q4KM/Q4KS量化版本：Q4KM/Q4KS是不错的量化版本，但如果可以运行Q5、Q6或Q8，建议选择最高的量化版本。
• IQ4XS量化版本：由于IQ4XS量化版本的特殊性（混合/处理方式），其生成的结果将与其他量化版本不同，建议尝试并与其他量化版本的输出进行比较。
• Q2k/Q3量化版本的注意事项：使用Q2k/Q3量化版本时，可能需要将温度设置为2或更低（Q2k为1或更低），因为该级别压缩过大，可能会损坏模型。同时，可能需要调整重复惩罚以充分发挥模型性能。
• ARM量化版本：该仓库提供了3种适用于ARM计算机的量化版本，若在非ARM计算机上使用这些量化版本，每秒令牌数将非常低。

上下文转移/ROPE/“乱码”注意事项

特别注意“上下文转移”/“ROPE”（特别是Koboldai）：请勿对该模型使用“上下文转移”或ROPE，否则可能会损坏输出生成。

设置：聊天/角色扮演和/或模型的更流畅操作

在“KoboldCpp”、“oobabooga/text-generation-webui”或“Silly Tavern”中，将“平滑因子”设置为1.5到2.5：

• 在KoboldCpp中：设置->采样器->高级->“平滑_F”。
• 在text-generation-webui中：参数->右下角。
• 在Silly Tavern中：称为“平滑”。

注意：对于“text-generation-webui”，如果使用GGUFs，需要使用“llama_HF”（这涉及从该模型的源版本下载一些配置文件）。

最高质量设置/最佳操作指南/参数和采样器

该模型属于“3类”/“4类”模型，有关该模型的所有设置（包括其“类别”的具体设置）、示例生成以及高级设置指南（通常可解决任何模型问题），包括提高所有用例（包括聊天、角色扮演等）模型性能的方法，请参考：https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters

🔧 技术细节

模型基础

该模型基于“MN-WORDSTORM-pt8-RCM-Emotion-Action-18.5B-Instruct”的修改版本，使用了David_AU开发的Brainstorm 40x（v2）方法，对模型的散文输出和能力进行了大幅改变。同时，将模型扩展了40层（至102层），达到29B参数（921张量）。

模型融合

该模型基于四个顶级模型（包括Mistral Nemo Instruct），使用多步/多模型融合过程。具体涉及以下模型：

• mistralai/Mistral-Nemo-Instruct-2407
• TheDrummer/Rocinante-12B-v1.1
• anthracite-org/magnum-v2.5-12b-kto
• nothingiisreal/MN-12B-Celeste-V1.9
• DavidAU/MN-18.5B-Celeste-V1.9-Story-Wizard-ED1-Instruct
• DavidAU/MN-magnum-v2.5-18.5B-kto-Instruct
• DavidAU/MN-Rocinante-18.5B-v1.1-Instruct

使用“MERGEKIT”进行融合，具体配置如下：

models:
  - model: DavidAU/MN-Rocinante-18.5B-v1.1-Instruct
  - model: DavidAU/MN-magnum-v2.5-12b-kto-Instruct
    parameters:
      weight: .6
      density: .8
  - model: DavidAU/MN-18.5B-Celeste-V1.9-Instruct
    parameters:
      weight: .38
      density: .6
merge_method: dare_ties
tokenizer_source: union
base_model: DavidAU/MN-Rocinante-18.5B-v1.1-Instruct
dtype: bfloat16

特殊说明

即使使用上述融合套件模板和模型，也无法创建与“黑暗宇宙29B”中使用的基础模型完全相同的版本，因为该基础模型还添加了Brainstorm 40X V2适配器。需要使用：https://huggingface.co/DavidAU/MN-WORDSTORM-pt8-RCM-Emotion-Action-18.5B-Instruct

原因是该“基础”模型（与Brainstorm 40x V2一起使用）是使用Mergekit中的DARE TIES方法创建的，但这种融合（使用此设置）会激活“随机修剪”，每次运行此融合套件模板时都会改变模型。

📄 许可证

该模型采用Apache-2.0许可证。

注意事项

• 内容警告：该模型生成的内容可能包含不适合所有受众的内容，包括暴力、恐怖、脏话等，请谨慎使用。
• 参数调整：在使用模型时，建议根据具体需求调整温度和重复惩罚等参数，以获得最佳的输出效果。
• 数据来源：该模型的训练数据来源未在文档中提及，如有需要，请参考相关技术文档或社区论坛。

致谢

特别感谢模型开发者“mistralai”、“TheDrummer”、“anthracite-org”和“nothingiisreal”的杰出工作。