基础模型: grimjim/Llama-3.1-8B-Instruct-abliterated_via_adapter 库名称: transformers 许可证: llama3.1 流水线标签: 文本生成 量化者: grimjim

Llama-3.1-8B-Instruct-abliterated_via_adapter-GGUF

本仓库包含精选的GGUF量化模型，该模型是通过mergekit合并预训练语言模型创建的。

应用了一个LoRA来"消除"meta-llama/Meta-Llama-3.1-8B-Instruct中的拒绝行为。尽管LoRA源自Llama 3而非Llama 3.1，但结果似乎有效，这表明3和3.1模型之间存在显著的特征共性。

该LoRA提取自failspy/Meta-Llama-3-8B-Instruct-abliterated-v3，并以meta-llama/Meta-Llama-3-8B-Instruct为基础。

基于Llama构建。

合并详情

合并方法

该模型使用任务算术合并方法，以meta-llama/Meta-Llama-3.1-8B-Instruct + grimjim/Llama-3-Instruct-abliteration-LoRA-8B为基础进行合并。

配置

以下是用于生成该模型的YAML配置：

基础模型: meta-llama/Meta-Llama-3.1-8B-Instruct+grimjim/Llama-3-Instruct-abliteration-LoRA-8B
数据类型: bfloat16
合并方法: task_arithmetic
参数:
  归一化: false
切片:
- 来源:
  - 层范围: [0, 32]
    模型: meta-llama/Meta-Llama-3.1-8B-Instruct+grimjim/Llama-3-Instruct-abliteration-LoRA-8B
    参数:
      权重: 1.0