许可协议：apache-2.0
数据集：

• ucberkeley-dlab/measuring-hate-speech
  语言：
• 英语
  评估指标：
• F1值
• 准确率
  任务标签：文本分类

示例输入：

• 文本："黄祸"
  示例标题：种族仇恨示例
• 文本："尼采说'上帝已死'"
  示例标题：宗教仇恨示例
• 文本："滚回你的老家去"
  示例标题：出身仇恨示例
• 文本："你太情绪化了"
  示例标题：性别仇恨示例
• 文本："我自认是个三明治"
  示例标题：性取向仇恨示例
• 文本："老不死的"
  示例标题：年龄仇恨示例
• 文本："困在轮椅上"
  示例标题：残障仇恨示例

首次发布于Kaggle。

最近，我在母校加州大学伯克利分校发现了一个关于仇恨言论测量的非常全面的数据集。它汇总了来自YouTube、Reddit和Twitter的社交媒体评论。

这个数据集的独特之处在于包含了标注者的背景信息，如意识形态、收入、种族等属性。遗憾的是，这在大多数社交媒体数据集中并不常见，因此引起了我的兴趣。
我也觉得论文中关于数据视角主义（data perspectivism）的观点很有趣，它认为标注者对仇恨言论属性存在的分歧是有价值的，而不是应该被丢弃的信息。

虽然在这个模型中我们没有利用标注者的信息，但我鼓励你探索这个数据集，或许可以利用标注者的信息来构建这个分类器的不同变体。

在这里，我基于加州大学伯克利分校D-Lab的仇恨言论数据集，通过BERT进行迁移学习，构建了一个仇恨言论多标签分类器，用于独立分类种族、宗教、出身、性别、性取向、年龄和残障等目标。该数据集源自论文《测量仇恨言论语料库：利用拉希测量理论实现数据视角主义》(https://aclanthology.org/2022.nlperspectives-1.11.pdf)。