管道类型: "文本分类"

小组件:

• 文本: "这是一条可爱的消息" 示例标题: "示例1" 多类别: 否
• 文本: "你是个白痴，你和你的家人都该滚回自己的国家" 示例标题: "示例2" 多类别: 否

支持语言:

• 英语
• 荷兰语
• 法语
• 葡萄牙语
• 意大利语
• 西班牙语
• 德语
• 丹麦语
• 波兰语
• 南非荷兰语

数据集:

• jigsaw毒性预测数据集 评估指标:
• F1准确率

citizenlab/distilbert-base-multilingual-cased-toxicity

这是基于JIGSAW毒性评论分类挑战赛数据集训练的多语言Distil-Bert序列分类模型。

使用方法

from transformers import pipeline

model_path = "citizenlab/distilbert-base-multilingual-cased-toxicity"

toxicity_classifier = pipeline("text-classification", model=model_path, tokenizer=model_path)
toxicity_classifier("这是一条可爱的消息")
> [{'label': '非毒性', 'score': 0.9954179525375366}]

toxicity_classifier("你是个白痴，你和你的家人都该滚回自己的国家")
> [{'label': '毒性', 'score': 0.9948776960372925}]

评估结果

准确率

  准确率得分 = 0.9425
F1分数(微观) = 0.9450549450549449
F1分数(宏观) = 0.8491432341169309