base_model:

• macadeliccc/WestLake-7B-v2-laser-truthy-dpo
• ChaoticNeutrals/This_is_fine_7B library_name: transformers tags:
• mistral
• quantized
• text-generation-inference
• mergekit
• merge pipeline_tag: text-generation inference: false

ChaoticNeutrals/Prodigy_7B的GGUF-Imatrix量化版本

什么是"Imatrix"？

它代表重要性矩阵，这是一种用于提升量化模型质量的技术。

Imatrix基于校准数据计算得出，帮助确定量化过程中不同模型激活的重要性。其核心思想是在量化时保留最关键的信息，从而减少模型性能损失。

使用Imatrix的优势之一在于能获得更好的模型表现，特别是当校准数据多样化时。

更多信息：[1] [2]

如需添加特定量化版本，欢迎提出请求。

所有荣誉归属于原作者。

基础模型⇢ GGUF(F16)⇢ Imatrix数据(F16)⇢ GGUF(Imatrix量化)

新的IQ3_S量化选项已证明优于旧的Q3_K_S，因此我们替换为前者。仅支持koboldcpp-1.59.1或更高版本。

使用llama.cpp-b2277。

--imatrix数据采用imatrix-Prodigy_7B-F16.dat生成。

原始模型信息：

翼

本模型是使用mergekit合并的预训练语言模型。

合并详情

合并方法

采用SLERP（球面线性插值）合并法。

合并模型

合并包含以下模型：

• macadeliccc/WestLake-7B-v2-laser-truthy-dpo
• ChaoticNeutrals/This_is_fine_7B

配置参数

生成本模型的YAML配置如下：

slices:
  - sources:
      - model: ChaoticNeutrals/This_is_fine_7B
        layer_range: [0, 32]
      - model: macadeliccc/WestLake-7B-v2-laser-truthy-dpo
        layer_range: [0, 32]
merge_method: slerp
base_model: macadeliccc/WestLake-7B-v2-laser-truthy-dpo
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: float16