language: zh license: apache-2.0 datasets:

• hatexplain

目录

• 模型详情
• 快速使用指南
• 用途
• 风险、局限性与偏见
• 训练过程
• 评估结果
• 技术规格
• 引用信息

模型详情

模型描述：
该模型用于将文本分类为"辱骂性内容（仇恨言论与冒犯性言论）"或"正常内容"。模型训练数据来自Gab和Twitter平台，并融合了人类标注的理性依据以提升性能。模型还包含一个理性依据预测头，可针对辱骂性语句预测其依据片段。

• 开发者： Binny Mathew, Punyajoy Saha, Seid Muhie Yimam, Chris Biemann, Pawan Goyal, Animesh Mukherjee
• 模型类型： 文本分类
• 支持语言： 英语
• 许可协议： Apache-2.0
• 基础模型： 参见BERT基础无大小写模型获取BERT基础模型信息
• 扩展资源：
  • 研究论文（AAAI 2021收录）
  • 含数据集与模型的GitHub仓库

快速使用指南

使用说明
请通过models.py中的Model_Rational_Label类加载模型。由于类初始化差异，当前托管推理API的默认预测可能存在偏差。

from transformers import AutoTokenizer, AutoModelForSequenceClassification
### 从models.py导入
from models import *
tokenizer = AutoTokenizer.from_pretrained("Hate-speech-CNERG/bert-base-uncased-hatexplain-rationale-two")
model = Model_Rational_Label.from_pretrained("Hate-speech-CNERG/bert-base-uncased-hatexplain-rationale-two")
inputs = tokenizer('他是个好人", return_tensors="pt")
prediction_logits, _ = model(input_ids=inputs['input_ids'],attention_mask=inputs['attention_mask'])

用途

直接使用

适用于文本分类任务

下游应用

[需补充信息]

滥用与超范围使用

禁止使用本模型故意制造敌对环境或群体排斥。该模型未经过事实性内容训练，因此生成具有事实性描述的内容超出模型能力范围。

风险、局限性与偏见

内容警告：本节可能包含令人不适的冒犯性内容，并可能反映历史或当代偏见。

大量研究已揭示语言模型存在的偏见问题（参见Sheng等(2021)和Bender等(2021)）。

例如模型预测可能包含针对特定群体的有害刻板印象：

开发团队在HateXplain论文中特别说明：

未考虑用户资料、性别特征、历史发帖等外部语境信息（这些可能有助于分类任务）。同时本研究仅聚焦英语场景，未涵盖多语言仇恨言论。

训练过程

数据预处理

预处理流程详见GitHub仓库

评估结果

开发团队在相关论文中详细说明了HateXplain微调模型的隐藏层尺寸与注意力机制。

性能表现

论文与GitHub仓库中提供了BERT-HateXplain与其他微调模型的对比输出：

引用信息

@article{mathew2020hatexplain,
  title={HateXplain: 可解释仇恨言论检测基准数据集},
  author={马修·宾尼, 萨哈·普尼亚乔伊, 伊玛姆·赛德·穆希, 比曼·克里斯, 戈亚尔·帕万, 慕克吉·阿尼梅什},
  journal={arXiv预印本 arXiv:2012.10289},
  year={2020}
}