语言:

• 俄语
• 英语

任务标签: 句子相似度

标签:

• 俄语
• 预训练
• 嵌入向量
• 微型模型
• 特征提取
• 句子相似度
• 句子转换器
• 转换器

数据集:

• IlyaGusev/gazeta
• zloelias/lenta-ru
• HuggingFaceFW/fineweb-2
• HuggingFaceFW/fineweb

许可证: MIT

基础模型: sergeyzh/rubert-mini-sts

rubert-mini-uncased

该模型用于计算俄语和英语句子的嵌入向量，通过蒸馏ai-forever/FRIDA的嵌入向量获得（嵌入向量大小为1536，层数为24）。FRIDA的主要使用模式——CLS池化被替换为均值池化。未对模型行为进行任何其他修改（如嵌入向量的修改或过滤，或使用额外模型）。蒸馏过程尽可能全面——包括俄语和英语句子的嵌入向量以及前缀功能。

该模型属于uncased类型——不区分文本中的大小写字母（例如，“С Новым Годом!”和“С НОВЫМ ГОДОМ!”会被编码为相同的标记序列并具有相同的嵌入向量值）。模型的嵌入向量大小为384，层数为7。模型的上下文大小与FRIDA一致，为512个标记。

前缀

所有前缀均继承自FRIDA。

在encodechka中使用的所有前缀及其对模型评分的影响：

任务:

• 语义文本相似度 (STS)；
• 复述识别 (PI)；
• 自然语言推理 (NLI)；
• 情感分析 (SA)；
• 毒性识别 (TI)。

指标

模型在ruMTEB基准测试中的评分：

使用transformers库调用模型：

import torch
import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel


def pool(hidden_state, mask, pooling_method="mean"):
    if pooling_method == "mean":
        s = torch.sum(hidden_state * mask.unsqueeze(-1).float(), dim=1)
        d = mask.sum(axis=1, keepdim=True).float()
        return s / d
    elif pooling_method == "cls":
        return hidden_state[:, 0]

inputs = [
    # 
    "paraphrase: 雅罗斯拉夫尔地区允许澡堂营业，但不接待顾客",
    "categorize_entailment: 一名妇女被送往医院，医生正在抢救她的生命。",
    "search_query: 需要多少程序员才能拧一个灯泡？",
    # 
    "paraphrase: 雅罗斯拉夫尔澡堂获准无顾客营业",
    "categorize_entailment: 医生正在抢救一名妇女。",
    "search_document: 拧一个灯泡需要三个程序员：一个写提取灯泡的程序，另一个写拧灯泡的程序，第三个负责测试。"
]

tokenizer = AutoTokenizer.from_pretrained("sergeyzh/rubert-mini-uncased")
model = AutoModel.from_pretrained("sergeyzh/rubert-mini-uncased")

tokenized_inputs = tokenizer(inputs, max_length=512, padding=True, truncation=True, return_tensors="pt")

with torch.no_grad():
    outputs = model(**tokenized_inputs)
    
embeddings = pool(
    outputs.last_hidden_state, 
    tokenized_inputs["attention_mask"],
    pooling_method="mean"
)

embeddings = F.normalize(embeddings, p=2, dim=1)
sim_scores = embeddings[:3] @ embeddings[3:].T
print(sim_scores.diag().tolist())
# [0.9366128444671631, 0.8030662536621094, 0.6826460957527161]
# [0.9360030293464661, 0.8591322302818298, 0.728583037853241] - FRIDA

使用sentence_transformers (sentence-transformers>=2.4.0)：

from sentence_transformers import SentenceTransformer

# 加载带有均值池化的模型
model = SentenceTransformer("sergeyzh/rubert-mini-uncased")

paraphrase = model.encode(["雅罗斯拉夫尔地区允许澡堂营业，但不接待顾客", "雅罗斯拉夫尔澡堂获准无顾客营业"], prompt="paraphrase: ")
print(paraphrase[0] @ paraphrase[1].T) 

# 0.9366129
# 0.9360032 - FRIDA

categorize_entailment = model.encode(["一名妇女被送往医院，医生正在抢救她的生命。", "医生正在抢救一名妇女。"], prompt="categorize_entailment: ")
print(categorize_entailment[0] @ categorize_entail