base_model:

• HuggingFaceH4/zephyr-7b-beta
• cgato/TheSpice-7b-v0.1.1
• SanjiWatsuki/Kunoichi-DPO-v2-7B
• SanjiWatsuki/Kunoichi-7B
• mistralai/Mistral-7B-v0.1 library_name: transformers tags:
• mergekit
• merge license: cc-by-nc-4.0 pipeline_tag: text-generation

烈焰花-32K-7B

这是使用mergekit工具合并预训练语言模型的成果。

本次合并回归到Mistral 7B v0.1作为任务算术合并的基础模型，在将rope theta参数从10K调整至100K后，其上下文长度可扩展至至少16K。以原始（真实）基础模型为基准，被合并的模型在数学上等效于LoRA适配器。我保留了Mistral 7B v0.1原本宣称的32K上下文长度。

目标是打造输出更具多样性的合并模型，这种追求本质上会牺牲准确性以换取创造性。为此，我选择了一个擅长叙事角色扮演的模型（cgato的作品）与三个推理能力优秀的模型（由HuggingFaceH4和SanjiWatsuki微调）。结果显示该模型在遵循卡片指令方面表现优异，甚至可能过于机械。

采样器设置：初步测试采用temperature=0.7和minP=0.01。若需增强创造性，可提高temperature参数。

提示词格式：原生支持Alpaca格式，但测试阶段使用ChatML格式。

下载选项：

• 完整权重
• GGUF量化版
• 8.0bpw h8 exl2量化版

合并详情

合并方法

本模型采用任务算术合并法，以mistralai/Mistral-7B-v0.1为基础模型。

参与合并的模型

合并包含以下模型：

• HuggingFaceH4/zephyr-7b-beta
• cgato/TheSpice-7b-v0.1.1
• SanjiWatsuki/Kunoichi-DPO-v2-7B
• SanjiWatsuki/Kunoichi-7B

配置参数

生成本模型使用的YAML配置如下：

models:
  - model: mistralai/Mistral-7B-v0.1
    # 基础模型无需参数
  - model: SanjiWatsuki/Kunoichi-DPO-v2-7B
    parameters:
      weight: 0.45
  - model: cgato/TheSpice-7b-v0.1.1
    parameters:
      weight: 0.05
  - model: HuggingFaceH4/zephyr-7b-beta
    parameters:
      weight: 0.05
  - model: SanjiWatsuki/Kunoichi-7B
    parameters:
      weight: 0.45
merge_method: task_arithmetic
base_model: mistralai/Mistral-7B-v0.1
dtype: float16