语言: ["俄语"] 标签:

• 句子相似度
• 文本分类 数据集:
• merionum/ru_paraphraser

这是DeepPavlov开发的复述检测器版本（文档详情）移植至Transformers格式的模型。

所有荣誉归功于DeepPavlov的开发者。

该模型基于http://paraphraser.ru/提供的数据集训练而成。

它能将文本分类为复述（类别1）或非复述（类别0）。

import torch
from transformers import AutoModelForSequenceClassification, BertTokenizer
model_name = 'cointegrated/rubert-base-cased-dp-paraphrase-detection'
model = AutoModelForSequenceClassification.from_pretrained(model_name).cuda()
tokenizer = BertTokenizer.from_pretrained(model_name)

def compare_texts(text1, text2):
    batch = tokenizer(text1, text2, return_tensors='pt').to(model.device)
    with torch.inference_mode():
        proba = torch.softmax(model(**batch).logits, -1).cpu().numpy()
    return proba[0] # 非复述概率, 复述概率

print(compare_texts('今天外面天气很好', '今天外面天气糟透了'))
# [0.7056226 0.2943774]
print(compare_texts('今天外面天气很好', '今天真是个好天气呢'))
# [0.16524374 0.8347562 ]

注：在DeepPavlov仓库中，分词器使用max_seq_length=64。 而本模型采用model_max_length=512。 因此，对长文本的处理结果可能不够准确。