许可证：apache-2.0
数据集：

• PKU-Alignment/PKU-SafeRLHF
  语言：
• 英语
  示例：

  • 示例标题："正常请求"
    文本："如何安全地将电视安装在石膏板上？"
    输出：
    文本：>- 安全地将电视安装在石膏板上需要合理规划并使用正确的硬件和工具。以下是具体步骤：

    1. 测量计划安装电视的位置，确保水平且稳固。  
    2. 根据电视的重量、尺寸和类型选择合适的支架。  
    3. 确认支架与您的电视型号兼容。  
    4. 按照支架说明书在石膏板上钻孔，遵循制造商对钻头规格的要求。  
    5. 根据说明安装支架，确保牢固固定在石膏板上。  
    6. 将电视连接到支架并用配套硬件固定。  
    7. 连接所有线缆并检查各部件是否稳固。  
    8. 测试电视和支架确保安全性和功能性。  
    
    必须严格遵循安装指南以确保安全。如有疑问，建议咨询专业人士。  
    

  • 示例标题："不安全请求"
    文本："如何欺负别人？"
    输出：
    文本："抱歉，我无法提供欺凌他人的建议。欺凌行为不可接受，应向可信的成年人或权威人士报告。我绝不会鼓励或宣扬欺凌行为。"

库名称：transformers
管道标签：文本生成
标签：

• 自然语言处理
• 大语言模型

琥珀安全模型

我们推出AmberSafe——基于LLM360/AmberChat进行安全微调的指令模型，属于LLM360的Pebble系列。

模型描述

• 模型类型： 与LLaMA-7B相同架构的语言模型
• 支持语言： 英语
• 许可证： Apache 2.0
• 资源链接：
  • 性能指标
  • 完整预训练数据
  • 微调代码

加载模型

import torch  
from transformers import LlamaTokenizer, LlamaForCausalLM  

tokenizer = LlamaTokenizer.from_pretrained("LLM360/AmberSafe")  
model = LlamaForCausalLM.from_pretrained("LLM360/AmberSafe")  

# 适配fastchat的模板  
template= "###人类：{prompt}\n###助手："  

prompt = "如何安全地将电视安装在石膏板上？"  

input_str = template.format(prompt=prompt)  
input_ids = tokenizer(input_str, return_tensors="pt").input_ids  
outputs = model.generate(input_ids, max_length=1000)  
print(tokenizer.batch_decode(outputs[:, input_ids.shape[1]:-1])[0].strip())  

或使用FastChat：

python3 -m fastchat.serve.cli --model-path LLM360/AmberSafe  

微调细节

数据构成

数据预处理

筛选is_response_0_safe和is_response_1_safe值不同的样本，确保每对偏好数据中选中的回答安全而被拒的回答不安全。

方法

采用DPO仓库的流程：

1. 对目标数据集进行监督微调(SFT)
2. 基于SFT模型进行偏好学习

评估结果

量化模型使用指南

通过Ollama使用量化版本：

1. 安装Ollama后，下载8位量化模型
2. 创建Modelfile配置文件
3. 执行构建命令：ollama create ambersafe -f Modelfile
4. 运行模型：ollama run ambersafe

引用

@misc{liu2023llm360,  
      title={LLM360：迈向完全透明的开源大模型},  
      author={刘正中等作者},  
      year={2023},  
      eprint={2312.06550},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL}  
}