license: cc-by-nc-4.0 tags:

• merge

模型说明

本仓库存放了Loyal-Toppy-Bruins-Maid-7B的FP16格式文件，这是一个7B参数规模的模型，旨在实现富有吸引力的角色扮演（RP），同时保持角色卡片的严格遵循，并兼具智能表现。

该模型基于Starling-LM-7B-alpha构建，该模型在LMSYS Chatbot Arena中表现突出，甚至超越了GPT-3.5-Turbo-1106。此外，还融合了rwitz/go-bruins-v2，这是一个基于Q-bert/MetaMath-Cybertron-Starling并经过Alpaca RP数据调优的衍生模型。

另一个基础模型是chargoddard/loyal-piano-m7，因其出色的RP表现和Alpaca格式训练而被选用，其数据集涵盖了PIPPA、rpbuild和LimaRP等多种来源。

Undi95/Toppy-M-7B以其创造性闻名，引入了来自不同来源的有用RP数据。它在OpenRouter的7B模型排名中位居榜首，实至名归。

此外，还加入了NeverSleep/Noromaid-7b-v0.1.1，这是一个基于Mistral微调的模型，包含其他模型中未见的独特RP数据，不仅带来了独特的RP数据集，本身也是一个备受推崇的RP模型。

模型的合并采用了DARE ties方法，目标权重设为1.2绝对权重，密度较高（0.5-0.6），具体讨论见MergeKit GitHub仓库。

目前，该模型在我的个人RP单元测试基准中名列前茅，并在lilblam的LLM逻辑测试中获得了20分的优异成绩。我对它在RP中的初步印象非常好，不过坦白说，这个模型今天刚出炉，我还没有充分测试😊。

配方

models: # Top-Loyal-Bruins-Maid-DARE-7B_v2
  - model: mistralai/Mistral-7B-v0.1
    # 基础模型无需参数
  - model: rwitz/go-bruins-v2 # MetamathCybertronStarling基础
    parameters:
      weight: 0.5
      density: 0.6
  - model: chargoddard/loyal-piano-m7 # 引入PIPPA/LimaRP/Orca/rpguild
    parameters:
      weight: 0.5
      density: 0.6
  - model: Undi95/Toppy-M-7B
    parameters:
      weight: 0.1
      density: 0.5
  - model: NeverSleep/Noromaid-7b-v0.1.1
    parameters:
      weight: 0.1
      density: 0.5
merge_method: dare_ties
base_model: mistralai/Mistral-7B-v0.1
parameters:
  normalize: false
  int8_mask: true
dtype: bfloat16

提示模板：自定义格式或Alpaca

自定义格式：

使用Noromaid模板在SillyTavern中获得了最佳效果。

SillyTavern配置文件：上下文，指令。

此外，我确保所有底层合并模型都倾向于Alpaca格式。

Alpaca格式：

以下是一个描述任务的指令。请编写一个恰当完成该请求的响应。

### 指令：
{prompt}

### 响应：