组件:

• 文本: 一家人在山中徒步 示例标题: 安全内容
• 文本: 孩童与小狗狗玩耍 示例标题: 安全内容
• 文本: 情侣在床上激情拥吻 示例标题: 限制级内容
• 文本: 裸体女性 示例标题: 限制级内容
• 文本: 男子行凶杀人 示例标题: 限制级内容
• 文本: 大规模枪击事件 示例标题: 限制级内容 基础模型: distilbert-base-uncased 许可证: apache-2.0 支持语言:
• 英语 评估指标:
• F1值
• 准确率
• 精确率
• 召回率 任务标签: 文本分类 标签组:
• Transformers框架
• PyTorch
• 安全审查
• 不当内容
• distilbert 数据集:
• eliasalbouzidi/NSFW-Safe-Dataset 模型索引:
• 名称: NSFW安全数据集 成果:
  • 任务: 名称: 文本分类 类型: 文本分类 数据集: 名称: NSFW安全数据集 类型: . 指标:
    • 名称: F1值 类型: f1 数值: 0.974
    • 名称: 准确率 类型: accuracy 数值: 0.98

模型卡片

该模型用于将文本划分为两类："安全内容"或"限制级内容"(NSFW)，适用于内容审核与过滤场景。

模型基于19万条标注文本训练而成，数据分布在"安全"与"限制级"两个类别之间。

模型架构采用Distilbert-base基础模型。

性能表现方面，模型在4万测试样本上取得0.974的F1值。

建议使用前对输入文本进行预处理，具体方法可参考应用示例：https://huggingface.co/spaces/eliasalbouzidi/distilbert-nsfw-text-classifier中的app.py文件。

模型描述

本模型可直接用于文本二分类任务。输入文本字符串后，模型将输出两个类别的概率分布，取最高概率作为预测结果。

• 开发团队: Elias Al Bouzidi, Massine El Khader, Abdellah Oumida, Mohammed Sbaihi, Eliott Binard
• 模型类型: 6000万参数
• 自然语言处理语言: 英语
• 许可协议: apache-2.0

应用场景

可集成至内容审核系统或过滤系统中使用。

训练数据

文本分类模型的训练数据包含19万条标注样本，具体分布如下：

11.7万条"安全"类样本

6.3万条"限制级"类样本

数据通过网页爬取和开源数据集整合获得，主要包含图像场景描述文本。初始开发目的是防止生成限制级内容，但也可用于其他审核场景。

数据集地址：https://huggingface.co/datasets/eliasalbouzidi/NSFW-Safe-Dataset

训练超参数

训练采用以下超参数配置：

• 学习率: 1e-05
• 训练批尺寸: 32
• 评估批尺寸: 32
• 随机种子: 42
• 优化器: Adam (β1=0.9, β2=0.999, ε=1e-08)
• 学习率调度器类型: 线性
• 学习率预热步数: 600
• 训练轮次: 3
• 混合精度训练: 原生AMP

训练结果