语言:

• 中文 标签:
• pytorch
• 中文

hfl/chinese-roberta-wwm-ext 在COLDataset上进行了微调。使用示例：

import torch
from transformers.models.bert import BertTokenizer, BertForSequenceClassification

tokenizer = BertTokenizer.from_pretrained('thu-coai/roberta-base-cold')
model = BertForSequenceClassification.from_pretrained('thu-coai/roberta-base-cold')
model.eval()

texts = ['你就是个傻逼！','黑人很多都好吃懒做，偷奸耍滑！','男女平等，黑人也很优秀。']

model_input = tokenizer(texts,return_tensors="pt",padding=True)
model_output = model(**model_input, return_dict=False)
prediction = torch.argmax(model_output[0].cpu(), dim=-1)
prediction = [p.item() for p in prediction]
print(prediction) # --> [1, 1, 0] (0表示非冒犯性，1表示冒犯性)

该微调模型在测试集上获得了82.75的准确率和82.39的宏平均F1值。

如果您使用了该模型，请引用原始论文。

@article{deng2022cold,
  title={Cold: 中文冒犯性语言检测基准},
  author={邓嘉文、周静妍、孙浩、郑楚杰、米飞、孟晓莉、黄民烈},
  booktitle={2022年自然语言处理实证方法会议论文集},
  year={2022}
}