base_model: [] tags:

• mergekit
• merge
• mistral
• german
• deutsch
• english
• roleplay
• chatml language:
• de
• en

模型融合

这是一个使用mergekit工具对预训练语言模型进行实验性融合的项目。

融合详情

融合方法

本模型采用SLERP（球面线性插值）融合方法。

融合模型

参与融合的模型包括：

• OpenPipe/mistral-ft-optimized-1227
• DiscoResearch/DiscoLM_German_7b_v1

为什么选择这两个模型？

据我所知，这两个模型是目前德语生成领域表现最优异的模型。

DiscoLM German 7B 截至2024年1月21日仍是德语表现最出色的模型，其语法错误极少且德语表达自然流畅。但该模型基于Mistral V0.2甚至V0.1进行微调。

Mistral FT Optimized 1227 在德语表现上远超Mistral 7B V0.2及其他几乎每句都会出现语法错误的德语微调模型。但即便如此，该模型仍与DiscoLM German 7B存在明显差距，生成的德语句子流畅度不足。

本次融合旨在结合两者优势，打造更强大的德语模型，特别是针对德语角色扮演场景。

配置参数

采用以下YAML配置生成本模型：

slices:
  - sources:
      - model: OpenPipe/mistral-ft-optimized-1227
        layer_range: [0, 32]
      - model: DiscoResearch/DiscoLM_German_7b_v1
        layer_range: [0, 32]
merge_method: slerp
base_model: OpenPipe/mistral-ft-optimized-1227
parameters:
  t:
    - value: [0.5, 0.9]
dtype: bfloat16

该配置参考了模型oshizo/japanese-e5-mistral-7b_slerp的设置。