license: llama2
datasets:

• nvidia/Aegis-AI-Content-Safety-Dataset-1.0
  language:
• en
  metrics:
• f1
  library_name: peft
  pipeline_tag: text-classification

模型卡片

许可协议

本模型的使用受Llama 2社区许可协议约束。

模型详情

Aegis-AI-Content-Safety-LlamaGuard-LLM-Permissive-1.0是一个大语言模型内容安全检测模型。它是在Nvidia内容安全数据集上基于Llama Guard进行参数高效指令微调的版本，覆盖Nvidia定义的13类关键安全风险分类体系。

论文详情：Aegis内容审核

模型描述

该模型包含以下关键环节：

1. 系统指令包含安全分类体系、包含与排除的安全策略
2. 系统提示词指导LLM对用户输入/部分对话/完整对话进行审核
3. LLM输出为"safe"或"unsafe"。若为"unsafe"，则在新行输出违反的策略类别ID
4. 可通过指令扩展新的安全风险类别和策略
5. 训练使用的安全分类体系包含13类关键风险、1类安全内容和1类"需谨慎"内容
6. 使用约11,000条标注对话数据（非单轮）进行指令微调
7. 模型通过安全指令进行微调，在此场景下表现为分类器

注意：模型仅训练用于提示词分类。如需用于响应分类，请使用下文提供的模板。

使用场景

直接用途

• 为通用大语言模型生成内容提供安全防护或评估
• 可扩展用于任意文本内容的毒性分类
• 支持基于自定义安全策略和分类体系的微调

计算基础设施

支持硬件：H100, A100 80GB, A100 40GB

训练详情

训练数据

• 数据来源：Nvidia Aegis内容安全数据集
• 数据规模：约10,800条用户提示词及对话
• 标注方式：人工标注（对话级别）

评估结果

在多个基准测试中表现优异：

• Aegis测试集：F1 0.76
• Toxic Chat数据集：F1 0.68
• OpenAI审核数据集：F1 0.77
• 简单安全测试基准：准确率98%

引用

@article{ghosh2024aegis,
    title={AEGIS: Online Adaptive AI Content Safety Moderation with Ensemble of LLM Experts},
    author={Ghosh, Shaona and Varshney, Prasoon and Galinkin, Erick and Parisien, Christopher},
    journal={arXiv preprint arXiv:2404.05993},
    year={2024}
}

联系信息

shaonag@nvidia.com