语言:

• 德语 标签:
• distilbert
• 德语
• 分类 数据集:
• germeval21 示例:
• 文本: "这是个好观点，我之前没这么想过。" 示例标题: "赞同（非恶意）"
• 文本: "哇，这比赛太精彩了。恭喜。" 示例标题: "足球（非恶意）"
• 文本: "闭上你的臭嘴，混蛋" 示例标题: "闭嘴（恶意）"
• 文本: "滚开，你这肮脏的杂种。" 示例标题: "驱逐（恶意）"

德语恶意评论分类模型

模型描述

该模型旨在检测具有恶意或潜在危害的评论。

我们基于德语DistilBERT模型distilbert-base-german-cased，在五个包含恶意、脏话、冒犯或仇恨言论的德语数据集上进行了微调。

使用场景与限制

本模型可用于检测德语评论中的恶意内容。 但需注意，"恶意"的定义较为模糊，模型可能无法识别所有恶意实例。

该模型仅适用于德语，无法检测其他语言的恶意内容。

使用方法

from transformers import pipeline

model_hub_url = 'https://huggingface.co/ml6team/distilbert-base-german-cased-toxic-comments'
model_name = 'ml6team/distilbert-base-german-cased-toxic-comments'

toxicity_pipeline = pipeline('text-classification', model=model_name, tokenizer=model_name)

comment = "一个无害的例子"
result = toxicity_pipeline(comment)[0]
print(f"评论: {comment}\n标签: {result['label']}, 得分: {result['score']}")

局限性与偏差

模型训练数据来自不同社交网络和网络社区，仅代表恶意内容的狭窄子集。在其他领域的恶意实例可能无法被可靠检测。

训练数据

训练数据整合了以下五个数据集：

• GermEval18 [数据集]
  • 标签: 辱骂、脏话、恶意
• GermEval21 [数据集]
  • 标签: 恶意
• IWG仇恨言论数据集 [论文, 数据集]
  • 标签: 仇恨言论
• 社交媒体中外来者冒犯性言论检测(2017) [数据集]
  • 标签: 仇恨
• HASOC: 2019仇恨言论与冒犯内容 [数据集]
  • 标签: 冒犯性、脏话、仇恨

这些数据集包含从脏话到仇恨言论等不同标签。在整合后的数据集中统一标记为恶意和非恶意，共23,515条样本。

注意各数据集的样本数量差异较大。

训练过程

训练集和测试集划分采用原始数据集的预设划分（如有），否则按80%训练、20%测试的比例划分。最终得到17,072条训练样本和6,443条测试样本。

模型训练参数如下（训练2个epoch）：

training_args = TrainingArguments(
    per_device_train_batch_size=batch_size,
    per_device_eval_batch_size=batch_size,
    num_train_epochs=2,
    evaluation_strategy="steps",
    logging_strategy="steps",
    logging_steps=100,
    save_total_limit=5,
    learning_rate=2e-5,
    weight_decay=0.01,
    metric_for_best_model='accuracy',
    load_best_model_at_end=True
)

评估结果

在占总量1/10的测试集上评估结果：