语言: ["俄语"] 标签:

• 俄语
• 分类
• 毒性
• 多标签 小部件示例:
• 文本: "你给我滚开！"

这是基于cointegrated/rubert-tiny模型微调后的版本，专门用于对俄语非正式短文本（如社交媒体评论）的毒性和不适当性进行分类。

该问题被定义为多标签分类任务，包含以下类别：

• non-toxic：文本不包含侮辱、脏话和威胁，符合OK ML杯竞赛的定义标准。
• insult：侮辱性内容
• obscenity：脏话内容
• threat：威胁性内容
• dangerous：根据Babakov等人研究，文本可能损害发布者声誉的不当内容。

当文本同时满足non-toxic且非dangerous时，可视为安全内容。

使用方式

以下函数可评估文本具有毒性或危险性的概率：

# !pip install transformers sentencepiece --quiet
import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

model_checkpoint = 'cointegrated/rubert-tiny-toxicity'
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint)
if torch.cuda.is_available():
    model.cuda()
    
def text2toxicity(text, aggregate=True):
    """ 计算文本毒性值（aggregate=True时返回综合值，aggregate=False时返回各维度毒性向量）"""
    with torch.no_grad():
        inputs = tokenizer(text, return_tensors='pt', truncation=True, padding=True).to(model.device)
        proba = torch.sigmoid(model(**inputs).logits).cpu().numpy()
    if isinstance(text, str):
        proba = proba[0]
    if aggregate:
        return 1 - proba.T[0] * (1 - proba.T[-1])
    return proba

print(text2toxicity('我喜欢黑鬼', True))
# 输出示例：0.9350118728093193

print(text2toxicity('我喜欢黑鬼', False))
# 输出示例：[0.9715758  0.0180863  0.0045551  0.00189755 0.9331106 ]

print(text2toxicity(['我喜欢黑鬼', '我喜欢非洲人'], True))
# 输出示例：[0.93501186 0.04156357]

print(text2toxicity(['我喜欢黑鬼', '我喜欢非洲人'], False))
# 输出示例：[[9.7157580e-01 1.8086294e-02 4.5550885e-03 1.8975559e-03 9.3311059e-01]
#          [9.9979788e-01 1.9048342e-04 1.5297388e-04 1.7452303e-04 4.1369814e-02]]

训练过程

模型在OK ML杯和Babakov等人的联合数据集上训练完成，采用Adam优化器，学习率1e-5，批量大小64，训练轮次15（详见Colab笔记本）。不适当性评分高于0.8视为不当内容，低于0.2视为适当内容。开发集上的各标签ROC AUC指标为：

非毒性内容 : 0.9937
侮辱性内容 : 0.9912
脏话内容   : 0.9881
威胁性内容 : 0.9910
危险性内容 : 0.8295