🚀 Llama-3.1-8B-Instruct-abliterated_via_adapter

本模型是使用mergekit合并预训练语言模型得到的。通过在meta-llama/Meta-Llama-3.1-8B-Instruct上应用低秩自适应（LoRA）技术，“消除”了模型的拒绝回复问题。尽管该LoRA是从Llama 3而非Llama 3.1派生而来，但结果表明它仍然有效，这意味着Llama 3和Llama 3.1模型之间存在显著的特征共性。

此LoRA是从failspy/Meta-Llama-3-8B-Instruct-abliterated-v3中提取的，以meta-llama/Meta-Llama-3-8B-Instruct为基础模型。

本模型基于Llama构建。

🚀 快速开始

本模型是使用mergekit合并预训练语言模型得到的，可直接用于文本生成任务。

✨ 主要特性

• 拒绝回复消除：通过应用LoRA技术，消除了原模型的拒绝回复问题。
• 特征共性：尽管LoRA派生自Llama 3，但在Llama 3.1上仍然有效，表明两者存在显著的特征共性。

📦 安装指南

暂未提供安装步骤，可参考mergekit的官方文档进行模型的合并与使用。

📚 详细文档

合并详情

合并方法

本模型使用任务算术合并方法，以meta-llama/Meta-Llama-3.1-8B-Instruct + grimjim/Llama-3-Instruct-abliteration-LoRA-8B为基础进行合并。

配置

以下是用于生成此模型的YAML配置：

base_model: meta-llama/Meta-Llama-3.1-8B-Instruct+grimjim/Llama-3-Instruct-abliteration-LoRA-8B
dtype: bfloat16
merge_method: task_arithmetic
parameters:
  normalize: false
slices:
- sources:
  - layer_range: [0, 32]
    model: meta-llama/Meta-Llama-3.1-8B-Instruct+grimjim/Llama-3-Instruct-abliteration-LoRA-8B
    parameters:
      weight: 1.0

Open LLM Leaderboard评估结果

详细结果可查看此处

📄 许可证

本模型使用llama3.1许可证。

模型信息