库名称: transformers 支持语言:

• 英语
• 法语
• 意大利语
• 西班牙语
• 俄语
• 乌克兰语
• 鞑靼语
• 阿拉伯语
• 印地语
• 日语
• 中文
• 希伯来语
• 阿姆哈拉语
• 德语 许可证: openrail++ 数据集:
• textdetox/multilingual_toxicity_dataset 评估指标:
• f1 基础模型:
• FacebookAI/xlm-roberta-large 管道标签: 文本分类

15种语言的多语言毒性分类器（2025版）

这是基于xlm-roberta-large模型微调的实例，专门针对二元毒性分类任务，训练数据来自我们2025年更新的textdetox/multilingual_toxicity_dataset数据集。

目前该模型覆盖15种不同语系的语言：

使用方法

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained('textdetox/xlmr-large-toxicity-classifier-v2')
model = AutoModelForSequenceClassification.from_pretrained('textdetox/xlmr-large-toxicity-classifier-v2')

batch = tokenizer.encode("你真棒！", return_tensors="pt")

output = model(batch)
# 索引0表示中性，索引1表示有毒

引用说明

本模型为TextDetox 2025共享任务评估而准备。

引用文献即将公布。