language:

• 俄语 tags:
• 文本分类 license: apache-2.0

RuBERTConv 毒性分类器

模型描述

基于 rubert-base-cased-conversational 模型

预期用途与限制

使用方法

Colab: 链接

from transformers import pipeline

model_name = "IlyaGusev/rubertconv_toxic_clf"
pipe = pipeline("text-classification", model=model_name, tokenizer=model_name, framework="pt") 

text = "你是网络上的白痴"
pipe([text])

训练数据

数据集：

• 2ch
• Odnoklassniki
• Toloka Persona Chat Rus
• Koziev对话集 结合 毒性词汇表

数据增强方法：

• ё替换为е
• 删除或添加"?"或"!"
• 修正大小写
• 拼接有毒与无毒文本
• 拼接两段无毒文本
• 添加词汇表中的毒性词汇
• 添加拼写错误
• 用"*"、"@"、"$"符号遮蔽毒性词汇

训练过程

待补充