语言:

• 俄语
• 英语

任务标签: 句子相似度

标签:

• 俄语
• 预训练
• 嵌入向量
• 特征提取
• 句子相似度
• 句子转换器
• 转换器

数据集:

• IlyaGusev/gazeta
• zloelias/lenta-ru
• HuggingFaceFW/fineweb-2
• HuggingFaceFW/fineweb

许可证: MIT
基础模型: sergeyzh/LaBSE-ru-turbo

BERTA模型

该模型通过蒸馏ai-forever/FRIDA（嵌入维度1536，24层）的嵌入向量至sergeyzh/LaBSE-ru-turbo（嵌入维度768，12层）获得，用于计算俄语和英语句子的嵌入表示。FRIDA的主要使用模式CLS池化被替换为均值池化，未对模型行为进行其他修改。蒸馏过程全面覆盖了俄英句子嵌入及前缀功能。

模型上下文长度与FRIDA一致，为512个标记。

前缀说明

所有前缀继承自FRIDA。
多数任务的最佳（提供平均效果）前缀"categorize_entailment: "已预设于config_sentence_transformers.json。

各前缀在encodechka评测中的表现：

任务类型:

• 语义文本相似度(STS)
• 复述识别(PI)
• 自然语言推理(NLI)
• 情感分析(SA)
• 毒性识别(TI)

性能指标

模型在ruMTEB基准测试中的表现：

通过transformers库使用模型

import torch  
import torch.nn.functional as F  
from transformers import AutoTokenizer, AutoModel  

def pool(hidden_state, mask, pooling_method="mean"):  
    if pooling_method == "mean":  
        s = torch.sum(hidden_state * mask.unsqueeze(-1).float(), dim=1)  
        d = mask.sum(axis=1, keepdim=True).float()  
        return s / d  
    elif pooling_method == "cls":  
        return hidden_state[:, 0]  

inputs = [  
    "paraphrase: 雅罗斯拉夫尔州允许澡堂营业，但不接待顾客",  
    "categorize_entailment: 一名女性被送往医院，医生正在抢救她的生命。",  
    "search_query: 需要多少程序员才能拧紧灯泡？",  
    "paraphrase: 雅罗斯拉夫尔澡堂获准无顾客营业",  
    "categorize_entailment: 医生正在抢救一名女性。",  
    "search_document: 拧紧灯泡需要三名程序员：一个写灯泡提取程序，一个写灯泡安装程序，第三个负责测试。"  
]  

tokenizer = AutoTokenizer.from_pretrained("sergeyzh/BERTA")  
model = AutoModel.from_pretrained("sergeyzh/BERTA")  

tokenized_inputs = tokenizer(inputs, max_length=512, padding=True, truncation=True, return_tensors="pt")  

with torch.no_grad():  
    outputs = model(**tokenized_inputs)  

embeddings = pool(  
    outputs.last_hidden_state,  
    tokenized_inputs["attention_mask"],  
    pooling_method="mean"  
)  

embeddings = F.normalize(embeddings, p=2, dim=1)  
sim_scores = embeddings[:3] @ embeddings[3:].T  
print(sim_scores.diag().tolist())  
# 输出: [0.953, 0.867, 0.784]  
# FRIDA输出: [0.936, 0.859, 0.729]  

通过sentence_transformers使用（需版本≥2.4.0）

from sentence_transformers import SentenceTransformer  

# 加载带均值池化的模型  
model = SentenceTransformer("sergeyzh/BERTA")  

# 复述检测  
paraphrase = model.encode(  
    ["雅罗斯拉夫尔州允许澡堂营业，但不接待顾客", "雅罗斯拉夫尔澡堂获准无顾客营业"],  
    prompt="paraphrase: "  
)  
print(paraphrase[0] @ paraphrase[1].T)  # 输出: 0.953 (FRIDA: 0.936)  

# 蕴含分类  
entailment = model.encode(  
    ["一名女性被送往医院，医生正在抢救她的生命。", "医生正在抢救一名女性。"],  
    prompt="categorize_entailment: "  
)  
print(entailment[0] @ entailment[1].T)  # 输出: 0.867 (FRIDA: 0.859)  

# 搜索查询与文档匹配  
query = model.encode("需要多少程序员才能拧紧灯泡？", prompt="search_query: ")  
doc = model.encode("拧紧灯泡需要三名程序员：一个写灯泡提取程序，一个写灯泡安装程序，第三个负责测试。", prompt="search_document: ")  
print(query @ doc.T)  # 输出: 0.784 (FRIDA: 0.729)