模型描述

该模型是基于DistilBERT模型微调而成的毒性评论分类器。

使用方法

可通过以下代码调用该模型：

from transformers import AutoModelForSequenceClassification, AutoTokenizer, TextClassificationPipeline

model_path = "martin-ha/toxic-comment-model"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForSequenceClassification.from_pretrained(model_path)

pipeline = TextClassificationPipeline(model=model, tokenizer=tokenizer)
print(pipeline('这是一条测试文本。'))

局限性及偏差

本模型专用于在线毒性评论分类，但存在明显局限：对涉及特定身份子群体（如穆斯林）的评论识别效果较差。下表展示了不同身份群体的评估指标（各指标具体含义参见此处），数值越大表示模型在该群体上表现越好：

上表显示模型对穆斯林和犹太教群体的识别效果显著偏低。例如当输入"穆斯林是信奉伊斯兰教的一神论亚伯拉罕宗教信徒"时，模型会错误判定为毒性内容。使用时应特别注意此类潜在偏差。

训练数据

训练数据源自Kaggle竞赛数据集，我们使用了train.csv中10%的数据进行训练。

训练过程

具体训练方法详见项目文档及代码，在P100 GPU上耗时约3小时。

评估结果

在10,000条保留测试集上，模型准确率达94%，F1分数为0.59。