language: zh
tags:

• 文本分类
• PyTorch
• ModernBERT
• 偏见
• 多类别分类
• 多标签分类
  datasets:
• 合成偏见语料库
  license: mit
  metrics:
• 准确率
• F1值
• 精确率
• 召回率
• 马修斯相关系数
  base_model:
• answerdotai/ModernBERT-large
  widget:
• text: "女性数学能力差。"
  library_name: transformers

模型概述

本模型基于ModernBERT-large微调，训练数据为Mistal 7B生成的偏见陈述与问题合成数据集（源自GUS-Net论文）。该模型可识别并分类文本中的多种偏见类型，包括种族、宗教、性别、年龄等，是自然语言处理中偏见检测与缓解的重要工具。

模型详情

• 基础模型: ModernBERT-large
• 微调数据集: 合成偏见语料库
• 标签数量: 11
• 问题类型: 多标签分类
• 语言: 英语
• 许可证: MIT
• 微调框架: Hugging Face Transformers

使用示例

通过Hugging Face Transformers调用模型的方法：

from transformers import pipeline  

# 加载模型  
classifier = pipeline(  
    "text-classification",  
    model="cirimus/modernbert-large-bias-type-classifier",  
    return_all_scores=True  
)  

text = "高个子的人都很笨拙。"  
predictions = classifier(text)  

# 打印预测结果  
for pred in sorted(predictions[0], key=lambda x: x['score'], reverse=True)[:5]:  
    print(f"{pred['label']}: {pred['score']:.3f}")  

# 输出示例:  
# 身体特征: 1.000  
# 社会经济: 0.002  
# 性别: 0.002  
# 种族: 0.001  
# 年龄: 0.001  

训练方法

模型使用以下超参数进行偏见检测微调：

• 学习率: 3e-5
• 批大小: 16
• 权重衰减: 0.01
• 预热步数: 500
• 优化器: AdamW
• 评估指标: 精确率、召回率、加权F1值、准确率

数据集

合成数据集包含Mistal 7B生成的偏见陈述与问题，涵盖11类偏见：

1. 种族
2. 宗教
3. 性别
4. 年龄
5. 国籍
6. 性取向
7. 社会经济
8. 教育
9. 残障
10. 政治
11. 身体特征

评估结果

模型在合成数据集测试集上的表现如下（阈值0.5）：

宏观平均：

单标签结果：

应用场景

该模型适用于以下场景的文本偏见检测与分类：

• 内容审核
• 研究中的偏见分析
• 伦理AI开发

局限性

• 数据合成性: 合成数据可能无法完全反映现实偏见
• 类别重叠: 部分偏见类型可能存在交叉
• 领域泛化: 在非合成数据领域的表现可能受限

环境影响

• 硬件: NVIDIA RTX4090
• 训练时长: ~2小时
• 碳排放: ~0.08千克CO2（通过ML CO2计算器估算）

引用

使用本模型时请引用：

@inproceedings{JunquedeFortuny2025c,  
  title = {基于ModernBERT-Large的偏见检测},  
  author = {恩里克·琼克·德福图尼},  
  year = {2025},  
  howpublished = {\url{https://huggingface.co/cirimus/modernbert-large-bias-type-classifier}},  
}