标签:

• 文本分类
• 毒性检测
• 推特 基础模型: dccuchile/bert-base-spanish-wwm-cased 二氧化碳当量排放: 排放量: 1.2345 许可证: mit 语言:
• 西班牙语 管道标签: 文本分类 库名称: transformers 数据集:
• bgonzalezbustamante/toxicity-protests-ES

西班牙语毒性分类微调BERT模型

这是一个基于BETO（专为西班牙语训练的BERT基础模型）进行微调的模型。训练数据集是西班牙语抗议事件中毒性和不文明行为的黄金标准。

该数据集包含约500万条数据点，来自三个拉丁美洲抗议事件：(a) 2020年8月阿根廷反对冠状病毒和司法改革措施的抗议；(b) 2019年5月巴西反对教育预算削减的抗议；(c) 2019年10月智利因地铁票价上涨引发的社会暴乱。我们专注于西班牙语的互动，为此语言建立数字互动的黄金标准，因此优先考虑阿根廷和智利的数据。

• GitHub仓库
• Zenodo数据集
• 参考论文

标签：非毒性（NONTOXIC）和毒性（TOXIC）。

分类示例

## 使用高级辅助工具pipeline
from transformers import pipeline
toxic_classifier = pipeline("text-classification", model="bgonzalezbustamante/bert-spanish-toxicity")

## 非毒性示例
non_toxic = toxic_classifier("Que tengas un excelente día :)")

## 毒性示例
toxic = toxic_classifier("Eres un maldito infeliz")

## 打印结果
print(non_toxic)
print(toxic)

输出:

[{'label': 'NONTOXIC', 'score': 0.8723140358924866}]
[{'label': 'TOXIC', 'score': 0.9470418691635132}]

验证指标

• 准确率: 0.835
• 精确率: 0.816
• 召回率: 0.886
• F1分数: 0.849