base_model: [] library_name: transformers tags:

• mergekit
• merge license: apache-2.0

巫师湖7B

本模型融合了新一代WizardLM 2 7B模型与我的定制DolphinLake模型(https://huggingface.co/Noodlz/DolphinLake-7B)。表现优异，即将提交至openLLM排行榜进行评估。 使用mergekit工具创建。

融合详情

融合方法

本模型采用DARE TIES融合技术，以amazingvince/Not-WizardLM-2-7B作为基础模型进行融合。

融合模型

合并包含以下模型：

• /Noodlz/DolphinLake-7B

配置参数

生成本模型所使用的YAML配置如下：

merge_method: dare_ties

parameters:
  int8_mask: true
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5 # 其他张量默认值
  embed_slerp: true

models:
  - model: amazingvince/Not-WizardLM-2-7B
    # 基础模型无需参数
  - model: /Noodlz/DolphinLake-7B
    parameters:
      density: 0.58
      weight: 0.4

base_model: amazingvince/Not-WizardLM-2-7B

tokenizer_source: model:amazingvince/Not-WizardLM-2-7B
dtype: bfloat16