language:

• ru tags:
• 句子相似度
• 文本分类 datasets:
• merionum/ru_paraphraser
• RuPAWS

这是一个经过训练的交叉编码器模型，用于预测两个俄语句子的语义等价性。

它将文本对分类为同义改写（类别1）或非同义改写（类别0）。其得分可用作衡量文本改写或风格转换中内容保留程度的指标。

该模型基于sberbank-ai/ruRoberta-large模型，在以下三个数据集的联合上进行了微调：

1. RuPAWS：基于Quora和QQP的数据集，来源https://github.com/ivkrotova/rupaws_dataset；
2. ru_paraphraser：https://huggingface.co/merionum/ru_paraphraser；
3. 对RUSSE-2022文本去毒数据集集合进行人工内容保留检查的结果（content_5.tsv）。

任务被表述为二分类问题：判断两个句子是否具有相同含义（1）或不同含义（0）。

下表显示了重复处理后（连接text1 + text2和text2 + text1对）的训练数据集规模：

模型使用Adam优化器及以下超参数进行训练：

学习率 = 1e-5
批大小 = 8
梯度累积步数 = 4
训练轮数 = 3
最大梯度范数 = 1.0

训练完成后，模型在测试集上的ROC AUC得分如下：

数据集 | ROC AUC

• | - 去毒 | 0.857112 改写器 | 0.858465 rupaws_qqp | 0.859195 rupaws_wiki | 0.906121

使用示例：

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

model = AutoModelForSequenceClassification.from_pretrained('SkolkovoInstitute/ruRoberta-large-paraphrase-v1')
tokenizer = AutoTokenizer.from_pretrained('SkolkovoInstitute/ruRoberta-large-paraphrase-v1')

def get_similarity(text1, text2):
    """ 预测两个俄语句子互为改写的概率 """
    with torch.inference_mode():
        batch = tokenizer(
            text1, text2, 
            truncation=True, max_length=model.config.max_position_embeddings, return_tensors='pt',
        ).to(model.device)
        proba = torch.softmax(model(**batch).logits, -1)
    return proba[0][1].item()

print(get_similarity('Я тебя люблю', 'Ты мне нравишься'))  # 0.9798
print(get_similarity('Я тебя люблю', 'Я тебя ненавижу'))   # 0.0008