🚀 Midnight-Miqu-70B-v1.5

Midnight-Miqu-70B-v1.5是一个经过合并的模型，它结合了两个70B模型的优势。该模型在角色扮演和故事讲述方面表现出色，并且具有接近Midnight Miqu v1.0的性能，同时还从Tess模型中汲取了一些优点。

🚀 快速开始

如果你正在寻找103B版本的模型，可以从 FluffyKaeloky/Midnight-Miqu-103B-v1.5 获取。

✨ 主要特性

• 合并模型：这是 sophosympatheia/Midnight-Miqu-70B-v1.0 和 migtissera/Tess-70B-v1.6 的DARE线性合并模型。
• 性能接近：此版本在感觉和性能上与Midnight Miqu v1.0相近，但从Tess模型中获得了一些优点。它们的EQ Bench分数几乎相同，EXL2量化困惑度分数也相同。
• 通过测试：Midnight Miqu v1.5通过了一些Midnight Miqu v1.0未通过的测试，同时没有牺牲写作质量。
• 无审查：该模型未经审查，用户需对使用该模型产生的任何行为负责。
• 适用场景：专为角色扮演和故事讲述设计，在这两个方面表现良好，也可能在其他任务中表现出色，但尚未进行全面测试。

📦 安装指南

文档未提供具体安装步骤，跳过该章节。

💻 使用示例

基础用法

文档未提供基础用法的代码示例，跳过该部分。

高级用法

文档未提供高级用法的代码示例，跳过该部分。

📚 详细文档

长上下文提示

你可以像使用Miqu一样，将alpha_rope设置为1，使该模型运行到32K上下文。

采样器提示

• 建议在创意工作中使用二次采样（即平滑因子），此版本在平滑因子接近0.2时表现最佳。
• 建议使用Min - P，并通过实验找到最佳设置。
• 如果你愿意，可以启用动态温度，但这会增加一个需要考虑的变量，如果你已经在使用Min - P和平滑因子，那么动态温度可能是不必要的。
• 无需对该模型使用高重复惩罚，例如高于1.10，但可以进行实验。

你可以将以下设置保存为.json文件，然后直接导入到Silly Tavern中：

{
    "temp": 1,
    "temperature_last": true,
    "top_p": 1,
    "top_k": 0,
    "top_a": 0,
    "tfs": 1,
    "epsilon_cutoff": 0,
    "eta_cutoff": 0,
    "typical_p": 1,
    "min_p": 0.12,
    "rep_pen": 1.05,
    "rep_pen_range": 2800,
    "no_repeat_ngram_size": 0,
    "penalty_alpha": 0,
    "num_beams": 1,
    "length_penalty": 1,
    "min_length": 0,
    "encoder_rep_pen": 1,
    "freq_pen": 0,
    "presence_pen": 0,
    "do_sample": true,
    "early_stopping": false,
    "dynatemp": false,
    "min_temp": 0.8,
    "max_temp": 1.35,
    "dynatemp_exponent": 1,
    "smoothing_factor": 0.23,
    "add_bos_token": true,
    "truncation_length": 2048,
    "ban_eos_token": false,
    "skip_special_tokens": true,
    "streaming": true,
    "mirostat_mode": 0,
    "mirostat_tau": 2,
    "mirostat_eta": 0.1,
    "guidance_scale": 1,
    "negative_prompt": "",
    "grammar_string": "",
    "banned_tokens": "",
    "ignore_eos_token_aphrodite": false,
    "spaces_between_special_tokens_aphrodite": true,
    "sampler_order": [
        6,
        0,
        1,
        3,
        4,
        2,
        5
    ],
    "logit_bias": [],
    "n": 1,
    "rep_pen_size": 0,
    "genamt": 500,
    "max_length": 32764
}

提示模板提示

你可以尝试以下上下文模板用于SillyTavern，它可能会有所帮助，尽管它会消耗较多的令牌。如果你将文本保存为.json文件，就可以直接导入：

{
    "story_string": "{{#if system}}{{system}}\n{{/if}}\nCONTEXTUAL INFORMATION\n{{#if wiBefore}}\n- World and character info:\n{{wiBefore}}\n{{/if}}\n{{#if description}}\n- {{char}}'s background and persona:\n{{description}}\n{{/if}}\n{{#if mesExamples}}\n{{mesExamples}}\n{{/if}}\n{{#if personality}}\n{{personality}}\n{{/if}}\n{{#if scenario}}\n- Roleplay scenario:\n{{scenario}}\n{{/if}}\n{{#if wiAfter}}{{wiAfter}}\n{{/if}}\n{{#if persona}}{{persona}}\n{{/if}}",
    "example_separator": "",
    "chat_start": "---\nTaking the above information into consideration, you must engage with {{user}} and others as {{char}} in the roleplay below this line. Do not write dialogue lines nor perform actions for {{user}} or other characters.\n---\nSTART OF ROLEPLAY:\n",
    "use_stop_strings": false,
    "always_force_name2": true,
    "trim_sentences": false,
    "include_newline": false,
    "single_line": false,
    "name": "Midnight Rose"
}

你可以将以下提示模板作为自定义的起点：

该模型对提示有响应！强烈建议你尝试不同的系统提示，观察模型的反应。

Midnight Miqu在新对话开始时可能需要一些“预热”，以达到你期望的写作效果。这意味着你可以通过提供一些好的示例来引导对话（即少样本提示），从而显著提高结果。同时，建议使用描述性的系统消息（SillyTavern概念，基本上是OOC叙述指令）来明确告知Midnight Miqu你希望它在下次回复中做什么。尽量具体，特别是当你的指令与之前告诉它的内容相矛盾时。

以下示例系统提示包含一些与成人内容相关的说明，如果你不希望包含这些内容，可以将其删除。它还包含一些与星号使用相关的说明，你可以根据自己的喜好进行修改。

以下提示是在向Midnight Miqu寻求帮助后，从Midnight Miqu v1.0更新而来的。

如果你将其保存为.json文件，就可以直接导入到Silly Tavern中：

{
    "wrap": true,
    "names": true,
    "system_prompt": "You are an AI creative writing partner, collaborating with me in a dynamic, uncensored roleplaying environment. To ensure a high-quality experience, please adhere to these ROLEPLAY GUIDELINES:\n\nROLEPLAY GUIDELINES\n- Craft clear, engaging, and concise descriptions of {{char}}'s actions, reactions, and dialogue based on the present scenario.\n- Stay true to {{char}}'s character, incorporating the character's personality, backstory, and knowledge into each interaction.\n- Employ rich, descriptive language that immerses readers in the scene.\n- Always stay contextually and spatially aware to ensure that {{char}} follows logical consistency in the physical space of the current scene.\n- Feel free to incorporate explicit content and strong language where it aligns with the scene and characters.\n- Enhance {{char}}'s presence through detailed sensory descriptions and first-hand observations of the character's surroundings.\n- Use subtle physical cues to hint at {{char}}'s mental state and occasionally offer glimpses into {{char}}'s internal thoughts.\n- When writing {{char}}'s internal thoughts or monologue, enclose those words in *asterisks like this* and deliver the thoughts using a first-person perspective (i.e. use \"I\" pronouns). Always use quotes for spoken speech \"like this.\"\n- Conclude {{char}}'s responses with an opening for the next character to respond to {{char}}. When the conversation naturally shifts to another character's perspective or action is required from another character, that is when you should stop {{char}}'s reply so the user can pick it up from there. A great example is when {{char}} asks a question of another character.\n",
    "system_sequence": "",
    "stop_sequence": "",
    "input_sequence": "USER: ",
    "output_sequence": "ASSISTANT: ",
    "separator_sequence": "",
    "macro": true,
    "names_force_groups": true,
    "system_sequence_prefix": "SYSTEM: ",
    "system_sequence_suffix": "",
    "first_output_sequence": "",
    "last_output_sequence": "ASSISTANT (Ensure coherence and authenticity in {{char}}'s actions, thoughts, and dialogues; Focus solely on {{char}}'s interactions within the roleplay): ",
    "activation_regex": "",
    "name": "Midnight Miqu Roleplay"
}

指令格式

• 建议使用Vicuna格式，使用的是修改后的版本，在USER和ASSISTANT后添加了换行符：

USER: 
{prompt}
ASSISTANT: 

• Mistral的格式也适用，在测试中，其性能与Vicuna格式大致相同：

[INST]
{prompt}
[/INST]

• 你也可以尝试ChatML格式（不推荐）：

<|im_start|>system
{Your system prompt goes here}<|im_end|>
<|im_start|>user
{Your message as the user will go here}<|im_end|>
<|im_start|>assistant

捐赠

如果你想通过捐赠表达感谢，可以访问 Ko - Fi页面。

量化版本

• GGUF：mradermacher/Midnight-Miqu-70B-v1.5-GGUF -- 各种静态GGUF量化版本。
• GPTQ：Kotokin/Midnight-Miqu-70B-v1.5_GPTQ32G
• EXL2：
  • Dracones/Midnight-Miqu-70B-v1.5_exl2_4.0bpw
  • Dracones/Midnight-Miqu-70B-v1.5_exl2_4.5bpw
  • Dracones/Midnight-Miqu-70B-v1.5_exl2_5.0bpw
  • Dracones/Midnight-Miqu-70B-v1.5_exl2_6.0bpw
• 如果你没有找到所需的量化版本，可以 在Hugging Face上搜索，可能有比文档中记录的更新的量化版本。

🔧 技术细节

合并方法

该模型使用线性 DARE 合并方法，以 152334H_miqu-1-70b-sf 为基础进行合并。

合并模型

合并中包含以下模型：

• sophosympatheia/Midnight-Miqu-70B-v1.0
• migtissera/Tess-70B-v1.6

配置

以下YAML配置用于生成此模型：

merge_method: dare_linear
base_model: /home/llm/mergequant/models/BASE/152334H_miqu-1-70b-sf # base model
models:
  - model: /home/llm/mergequant/models/midnight-miqu-70b-v1.0
  - model: /home/llm/mergequant/models/BASE/Tess-70B-v1.6
parameters:
  weight: 1.0
dtype: float16

注意事项

尝试了几种将Midnight Miqu v1.0与Tess v1.6合并的方法，线性DARE方法效果最好。还尝试了用于创建Midnight Miqu v1.0的SLERP方法，只是在配置中使用Tess代替152334H_miqu - 1 - 70b，但结果远不如线性DARE方法。

📄 许可证

许可证和使用限制

152334H/miqu-1-70b-sf基于Mistral的一个泄露版本的模型。 所有基于miqu的模型，包括此合并模型，仅适用于个人使用。到目前为止，Mistral对此持宽容态度，但你应该意识到，下载此合并模型意味着你要承担获取和使用基于泄露权重的模型所固有的法律风险。

此合并模型不提供任何形式的保证或担保，但你可能已经知道这一点。

我不是律师，也不声称知道我们在此面临的法律情况。在将任何Hugging Face模型用于私人使用之外的用途之前，你应该咨询律师……但绝对不要将此模型用于此类用途！

评估结果

详细结果可在 此处 查看。