Godslayer 12B ABYSS

由 redrix 开发

GodSlayer-12B-ABYSS 是一个通过 mergekit 合并多个预训练语言模型得到的12B参数模型，旨在保持稳定性和连贯性的同时，减少积极性偏见，提高现实主义和多样化响应能力。

大型语言模型

Transformers

#多模型融合 #现实主义响应 #角色扮演优化

下载量 78

发布时间 : 4/25/2025

模型介绍

内容详情

替代品

模型简介

该模型专注于聊天、角色扮演和创意写作任务，通过合并多个高质量模型来优化响应质量和多样性。

模型特点

多样化响应

通过合并多个模型，减少积极性偏见，提供更现实和多样化的响应。

稳定性与连贯性

优化合并方法，确保生成的文本在保持连贯性的同时具有高稳定性。

角色扮演优化

特别适合角色扮演任务，能够生成富有表现力和个性化的对话。

模型能力

文本生成

聊天对话

角色扮演

创意写作

多样化响应生成

使用案例

娱乐

角色扮演游戏

用于生成游戏中的NPC对话，增强玩家沉浸感。

生成自然、个性化的角色对话

创意写作助手

帮助作家生成创意内容或故事灵感。

提供多样化的写作建议和内容

对话系统

聊天机器人

构建能够进行自然、多样化对话的聊天机器人。

生成更真实和有趣的对话响应

基础模型:

LatitudeGames/Wayfarer-12B
ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
PocketDoc/Dans-PersonalityEngine-V1.1.0-12b
HumanLLMs/Human-Like-Mistral-Nemo-Instruct-2407
TheDrummer/UnslopNemo-12B-v4
romaingrx/red-teamer-mistral-nemo
DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS
rAIfle/Questionable-MN-bf16
allura-org/MN-12b-RP-Ink
IntervitensInc/Mistral-Nemo-Base-2407-chatml 库名称: transformers 标签:
mergekit
合并
12b
聊天
角色扮演
创意写作
DELLA线性

GodSlayer-12B-ABYSS

这是使用mergekit创建的预训练语言模型合并结果。

该模型的目标是保持相当的稳定性和连贯性，同时抵消积极性偏见，提高现实主义和多样化响应。

模型#12

合并详情

合并方法

该模型使用NuSLERP合并方法，以IntervitensInc/Mistral-Nemo-Base-2407-chatml为基础进行合并。

合并的模型

合并中包含了以下模型:

配置

以下是用于生成该模型的YAML配置:

# P1:
模型:
  - 模型: PocketDoc/Dans-PersonalityEngine-V1.1.0-12b
    参数:
      权重:
        - 过滤器: self_attn
          值: 0.2
        - 过滤器: mlp
          值: 0.2
        - 值: 0.2
      密度: 0.6
  - 模型: ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
    参数:
      权重:
        - 过滤器: self_attn
          值: 0.15
        - 过滤器: mlp
          值: 0.15
        - 值: 0.15
      密度: 0.55
  - 模型: HumanLLMs/Human-Like-Mistral-Nemo-Instruct-2407
    参数:
      权重:
        - 过滤器: self_attn
          值: 0.1
        - 过滤器: mlp
          值: 0.1
        - 值: 0.1
      密度: 0.5
  - 模型: LatitudeGames/Wayfarer-12B
    参数:
      权重:
        - 过滤器: self_attn
          值: 0.25
        - 过滤器: mlp
          值: 0.25
        - 值: 0.25
      密度: 0.65
基础模型: TheDrummer/UnslopNemo-12B-v4
合并方法: della_linear
数据类型: bfloat16
聊天模板: "chatml"
分词器来源: union
参数:
  标准化: true
  int8掩码: true
  容差: 0.1
  拉姆达: 1

# P2:
模型:
  - 模型: rAIfle/Questionable-MN-bf16
    参数:
      权重:
        - 过滤器: self_attn
          值: 0.2
        - 过滤器: mlp
          值: 0.2
        - 值: 0.2
      密度: 0.6
  - 模型: DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS
    参数:
      权重:
        - 过滤器: self_attn
          值: 0.3
        - 过滤器: mlp
          值: 0.3
        - 值: 0.3
      密度: 0.7
  - 模型: allura-org/MN-12b-RP-Ink
    参数:
      权重:
        - 过滤器: self_attn
          值: 0.35
        - 过滤器: mlp
          值: 0.35
        - 值: 0.35
      密度: 0.75
  - 模型: romaingrx/red-teamer-mistral-nemo
    参数:
      权重:
        - 过滤器: self_attn
          值: 0.25
        - 过滤器: mlp
          值: 0.25
        - 值: 0.25
      密度: 0.65
基础模型: TheDrummer/UnslopNemo-12B-v4
合并方法: della_linear
数据类型: bfloat16
聊天模板: "chatml"
分词器来源: union
参数:
  标准化: true
  int8掩码: true
  容差: 0.1
  拉姆达: 1

# 最终:
模型:
  - 模型: P1
    参数:
      权重: 0.5
  - 模型: P2
    参数:
      权重: 0.5
基础模型: IntervitensInc/Mistral-Nemo-Base-2407-chatml
合并方法: nuslerp
数据类型: bfloat16
聊天模板: "chatml"
分词器:
  来源: union
参数:
  标准化: true
  int8掩码: true