语言:

• 俄语 标签:
• 毒性评论分类 许可证:
• 知识共享-署名-非商业性使用-相同方式共享 许可证类型: OpenRAIL++ 基础模型:
• DeepPavlov/rubert-base-cased-conversational

基于Bert架构的分类器（由对话式Rubert微调而来），训练数据合并自两个俄语毒性评论数据集：来自2ch.hk的俄语毒性评论数据集和来自ok.ru的俄语毒性评论数据集。

数据集经过合并、打乱后，按80-10-10的比例划分为训练集、开发集和测试集。在测试集上获得的指标如下：

使用方法

from transformers import BertTokenizer, BertForSequenceClassification

# 加载分词器和模型权重
tokenizer = BertTokenizer.from_pretrained('s-nlp/russian_toxicity_classifier')
model = BertForSequenceClassification.from_pretrained('s-nlp/russian_toxicity_classifier')

# 准备输入
batch = tokenizer.encode('你真棒', return_tensors='pt')

# 推理
model(batch)

引用

如需引用我们的工作，请使用以下文献：

@article{dementieva2022russe,
  title={RUSSE-2022: 基于平行语料库的首届俄语去毒化共享任务成果},
  author={德门季耶娃, 达琳娜 and 洛加切娃, 瓦尔瓦拉 and 尼基什娜, 伊琳娜 and 费诺格诺娃, 阿莲娜 and 戴尔, 戴维 and 克罗托娃, 伊琳娜 and 谢苗诺夫, 尼基塔 and 莎夫琳娜, 塔季扬娜 and 潘琴科, 亚历山大}
}

许可信息

本模型采用OpenRAIL++许可证，该许可证支持服务于公共利益的各类技术发展——包括工业与学术领域。