🚀 rubert-mini-uncased

本模型用于计算俄语和英语句子的嵌入向量，它通过蒸馏 ai-forever/FRIDA 的嵌入向量得到（FRIDA 的嵌入向量维度为 1536，层数为 24）。FRIDA 的主要使用模式 CLS pooling 被替换为 mean pooling，且未对模型行为进行其他更改（如修改或过滤嵌入向量、使用额外模型）。蒸馏在最大程度上进行，涵盖俄语和英语句子的嵌入向量以及前缀处理。

该模型属于 uncased 类型，在处理文本时不区分大小写字母（例如，“С Новым Годом!” 和 “С НОВЫМ ГОДОМ!” 编码为相同的 token 序列，且嵌入向量值相等）。模型的嵌入向量维度为 384，层数为 7，上下文长度与 FRIDA 一致，为 512 个 token。

✨ 主要特性

• 多语言支持：可处理俄语和英语句子的嵌入向量计算。
• 蒸馏优化：通过蒸馏 FRIDA 的嵌入向量得到，提升效率。
• Pooling 替换：将 CLS pooling 替换为 mean pooling。

📦 安装指南

文档中未提及具体安装步骤，若需使用该模型，可参考 transformers 或 sentence-transformers 库的官方安装指南。

💻 使用示例

基础用法

import torch
import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel


def pool(hidden_state, mask, pooling_method="mean"):
    if pooling_method == "mean":
        s = torch.sum(hidden_state * mask.unsqueeze(-1).float(), dim=1)
        d = mask.sum(axis=1, keepdim=True).float()
        return s / d
    elif pooling_method == "cls":
        return hidden_state[:, 0]

inputs = [
    # 
    "paraphrase: В Ярославской области разрешили работу бань, но без посетителей",
    "categorize_entailment: Женщину доставили в больницу, за ее жизнь сейчас борются врачи.",
    "search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",
    # 
    "paraphrase: Ярославским баням разрешили работать без посетителей",
    "categorize_entailment: Женщину спасают врачи.",
    "search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование."
]

tokenizer = AutoTokenizer.from_pretrained("sergeyzh/rubert-mini-uncased")
model = AutoModel.from_pretrained("sergeyzh/rubert-mini-uncased")

tokenized_inputs = tokenizer(inputs, max_length=512, padding=True, truncation=True, return_tensors="pt")

with torch.no_grad():
    outputs = model(**tokenized_inputs)
    
embeddings = pool(
    outputs.last_hidden_state, 
    tokenized_inputs["attention_mask"],
    pooling_method="mean"
)

embeddings = F.normalize(embeddings, p=2, dim=1)
sim_scores = embeddings[:3] @ embeddings[3:].T
print(sim_scores.diag().tolist())
# [0.9366128444671631, 0.8030662536621094, 0.6826460957527161]
# [0.9360030293464661, 0.8591322302818298, 0.728583037853241] - FRIDA

高级用法

from sentence_transformers import SentenceTransformer

# loads model with mean pooling
model = SentenceTransformer("sergeyzh/rubert-mini-uncased")

paraphrase = model.encode(["В Ярославской области разрешили работу бань, но без посетителей", "Ярославским баням разрешили работать без посетителей"], prompt="paraphrase: ")
print(paraphrase[0] @ paraphrase[1].T) 

# 0.9366129
# 0.9360032 - FRIDA

categorize_entailment = model.encode(["Женщину доставили в больницу, за ее жизнь сейчас борются врачи.", "Женщину спасают врачи."], prompt="categorize_entailment: ")
print(categorize_entailment[0] @ categorize_entailment[1].T) 
# 0.80306643
# 0.8591322 - FRIDA

query_embedding = model.encode("Сколько программистов нужно, чтобы вкрутить лампочку?", prompt="search_query: ")
document_embedding = model.encode("Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование.", prompt="search_document: ")
print(query_embedding @ document_embedding.T) 
# 0.68264616
# 0.7285831 - FRIDA

📚 详细文档

前缀

所有前缀均继承自 FRIDA。以下是在 encodechka 中使用的前缀及其对模型评估的影响：

任务：

• 语义文本相似度（STS）
• 释义识别（PI）
• 自然语言推理（NLI）
• 情感分析（SA）
• 毒性识别（TI）

指标

模型在 ruMTEB 基准测试中的评估结果如下：

📄 许可证

本模型采用 MIT 许可证。

模型信息