语言:

• 俄语

标签:

• 有害评论分类

许可证:

• 知识共享-署名-非商业性使用-相同方式共享

模型总体概念

建议用途

我们在数据集中试图收集并通过模型检测的**"不当内容"并非毒性的替代品，而是毒性的衍生物。因此基于我们数据集的模型可作为在毒性与淫秽内容过滤之后额外的失当性过滤层**。您可通过另一模型检测具体敏感话题。建议处理流程如下图所示。

您也可训练单一分类器同时检测毒性与失当性。需与毒性标注样本混合的数据可在GitHub或kaggle获取。

失当性定义

本模型基于俄语不当消息数据集训练。通常，不当表述指不含污秽词汇或任何毒性意图，但仍可能损害发言者声誉的表述。下方表格提供示例以增强理解。更多关于失当性概念的阐述请参阅EACL-2021会议巴尔托-斯拉夫NLP研讨会发表的这篇论文。请注意论文描述的是数据集第一版，而本模型基于GitHub或kaggle开源扩展版训练。数据集特性与论文描述一致，仅规模不同。

评估指标

模型仅在100%置信度的样本上训练、验证和测试，测试集指标如下：

许可信息

知识共享署名-非商业性使用-相同方式共享4.0国际许可协议。

引用

若本资源对您有帮助，请引用我们的论文：

@inproceedings{babakov-etal-2021-detecting,
    title = "检测可能损害公司声誉的敏感话题不当信息",
    author = "巴巴科夫, 尼古拉 和 
      洛加切娃, 瓦尔瓦拉 和 
      科兹洛娃, 奥尔加 和 
      谢苗诺夫, 尼基塔 和 
      潘琴科, 亚历山大",
    booktitle = "第八届巴尔托-斯拉夫自然语言处理研讨会论文集",
    month = 4月,
    year = "2021",
    address = "乌克兰基辅",
    publisher = "计算语言学协会",
    url = "https://www.aclweb.org/anthology/2021.bsnlp-1.4",
    pages = "26--36",
    abstract = "并非所有话题在毒性方面都具有同等'易燃性'：关于海龟或钓鱼的平静讨论比政治或性少数话题更少引发不当对话。我们定义了一系列可能产生不当信息的敏感话题，并描述了数据收集与标注方法。虽然用户生成内容中的毒性已被充分研究，但我们旨在定义更细粒度的失当性概念。其核心在于可能损害发言者声誉。这与毒性的区别在于：(i)失当性与话题相关；(ii)不当信息虽非毒性但仍不可接受。我们收集并发布两个俄语数据集：话题标注数据集与失当性标注数据集，同时发布基于该数据的预训练分类模型。",
}

联系方式

如有疑问请联系尼古拉