许可协议：MIT
任务类型：文本生成

"D_AU-Mistral-7B-Instruct-v0.2-Bagel-DarkSapling-DPO-7B-v2.0"的FP合并Imatrix压缩版本。

"Imatrix Plus"是Imatrix的升级形式，对压缩的特定部分采用全精度处理。
因此，所有压缩文件的体积会略大于标准的7B压缩版本。

该方法能生成更高质量的模型，尤其在低压缩率下效果显著。
此方法适用于从IQ1到Q8的所有压缩级别。

即使是最强压缩的IQ1_S版本也能良好运行，但建议至少使用IQ4/Q4级别以保证质量。
最高质量可选择Q6/Q8级别。

Q8 Imatrix Plus的质量将超越标准Q8和常规Imatrix Q8。

本次合并是一次实验，旨在测试已成熟的角色扮演、小说和故事生成模型"DarkSapling"与具备部分"Bagel"特性的Mistral Instruct基础模型的融合效果。

对于Imatrix Plus，本次测试重点在于模型特定区域的高精度处理，这导致压缩文件略大。此外，Imatrix过程本身使用了比标准更大的"校准"文件以进一步提升质量。

该过程使每个压缩文件增加了约250MB。额外的增强功能又为每个压缩文件增加了250MB。

使用空白或标准的Alpaca模板进行文本生成即可。

上下文长度：32768。

具体使用细节、额外致谢和技巧请参阅下方"合并模型"部分的原始模型卡片。

合并

这是使用mergekit工具对预训练语言模型进行合并的结果。

合并详情

合并方法

本模型采用SLERP合并方法。

合并模型

合并包含以下模型：

• TeeZee/DarkSapling-7B-v2.0
• MaziyarPanahi/bagel-dpo-7b-v0.1-Mistral-7B-Instruct-v0.2-slerp

配置

生成本模型所用的YAML配置如下：

切片：  
  - 源模型：  
      - 模型：MaziyarPanahi/bagel-dpo-7b-v0.1-Mistral-7B-Instruct-v0.2-slerp  
        层范围：[0, 32]  
      - 模型：TeeZee/DarkSapling-7B-v2.0  
        层范围：[0, 32]  
合并方法：slerp  
基础模型：MaziyarPanahi/bagel-dpo-7b-v0.1-Mistral-7B-Instruct-v0.2-slerp  
参数：  
  t：  
    - 过滤器：self_attn  
      值：[0, 0.5, 0.3, 0.7, 1]  
    - 过滤器：mlp  
      值：[1, 0.5, 0.7, 0.3, 0]  
    - 值：0.5  
数据类型：bfloat16