不良文本分类器

模型介绍

我们公开了一个用于判断互联网上各种评论和聊天内容是否包含敏感信息的模型。该模型使用公开数据，通过修改标签并合并数据集进行微调训练而成。请注意，该模型可能无法始终准确判断所有句子，敬请谅解。

注意事项：
由于公开数据的版权问题，用于模型训练的修改后数据无法公开。
此外，该模型的观点与本人无关，特此声明。

数据集

数据标签

• 0：不良语句
• 1：非不良语句

使用数据集

• smilegate-ai/Korean Unsmile Dataset
• kocohub/Korean HateSpeech Dataset

数据集处理方法

将原本非二分类的两个数据集重新标记为二分类形式后，从Korean HateSpeech Dataset中筛选出标签为1（非不良语句）的数据，与处理过的Korean Unsmile Dataset合并。

对Korean Unsmile Dataset中原标记为clean的部分数据修改为0（不良语句）：

• 包含"~노"的语句中，若含有"이기"、"노무"的数据改为0（不良语句）
• 包含"좆"、"봊"等性相关暗示的数据改为0（不良语句）
  

模型训练

• 使用huggingface transformers的ElectraForSequenceClassification进行微调
• 选用三种韩语公开Electra模型分别进行训练

使用模型

• Beomi/KcELECTRA
• monologg/koELECTRA
• tunib/electra-ko-base

如何使用模型？

from transformers import AutoModelForSequenceClassification, AutoTokenizer

model = AutoModelForSequenceClassification.from_pretrained('JminJ/kcElectra_base_Bad_Sentence_Classifier')
tokenizer = AutoTokenizer.from_pretrained('JminJ/kcElectra_base_Bad_Sentence_Classifier')

模型验证准确率

注：
所有模型均采用相同随机种子、学习率(3e-06)、权重衰减lambda(0.001)和批大小(128)进行训练

联系方式

• jminju254@gmail.com
  
  

GitHub

• https://github.com/JminJ/Bad_text_classifier
  
  

参考文献

• Beomi/KcELECTRA
• monologg/koELECTRA
• tunib/electra-ko-base
• smilegate-ai/Korean Unsmile Dataset
• kocohub/Korean HateSpeech Dataset
• ELECTRA: 将文本编码器预训练为判别器而非生成器