许可证: openrail++ 语言:

• 俄语 标签:
• 文本生成推理 数据集:
• s-nlp/ru_paradetox 基础模型:
• ai-forever/ruT5-base

这是基于“RUSSE 2022: 基于平行语料库的俄语文本去毒”竞赛训练集部分训练的去毒基线模型。源句子为来自Odnoklassniki、Pikabu和Twitter平台的俄语有毒消息。基础模型为ruT5。

使用方法

from transformers import T5ForConditionalGeneration, AutoTokenizer

base_model_name = 'ai-forever/ruT5-base'
model_name = 's-nlp/ruT5-base-detox'

tokenizer = AutoTokenizer.from_pretrained(base_model_name)
model = T5ForConditionalGeneration.from_pretrained(model_name)

input_ids = tokenizer.encode('Это полная хуйня!', return_tensors='pt')
output_ids = model.generate(input_ids, max_length=50, num_return_sequences=1)
output_text = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(output_text)
# 输出：Это полный бред!

引用

@article{dementievarusse,
  title={RUSSE-2022: 基于平行语料库的首届俄语去毒共享任务成果},
  author={Dementieva, Daryna and Logacheva, Varvara and Nikishina, Irina and Fenogenova, Alena and Dale, David and Krotova, Irina and Semenov, Nikita and Shavrina, Tatiana and Panchenko, Alexander}
}

许可证

本模型采用OpenRAIL++许可证授权，该许可证支持服务于公共利益的各类技术发展——包括工业与学术领域。