language:

• ru

pipeline_tag: sentence-similarity

tags:

• 俄语
• 预训练
• 嵌入向量
• 特征提取
• 句子相似度
• sentence-transformers
• transformers

license: mit base_model: cointegrated/LaBSE-en-ru

基于GPU的语义文本相似度（STS）基础Bert模型

高质量俄语句子嵌入计算BERT模型。该模型基于cointegrated/LaBSE-en-ru，具有相同的上下文长度（512）、嵌入维度（768）和计算效率。

使用transformers库调用模型：

# pip install transformers sentencepiece
import torch
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("sergeyzh/LaBSE-ru-sts")
model = AutoModel.from_pretrained("sergeyzh/LaBSE-ru-sts")
# model.cuda()  # 如有GPU请取消注释

def embed_bert_cls(text, model, tokenizer):
    t = tokenizer(text, padding=True, truncation=True, return_tensors='pt')
    with torch.no_grad():
        model_output = model(**{k: v.to(model.device) for k, v in t.items()})
    embeddings = model_output.last_hidden_state[:, 0, :]
    embeddings = torch.nn.functional.normalize(embeddings)
    return embeddings[0].cpu().numpy()

print(embed_bert_cls('你好世界', model, tokenizer).shape)
# (768,)

使用sentence_transformers库：

from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer('sergeyzh/LaBSE-ru-sts')

sentences = ["你好世界", "hello world", "宇宙你好"]
embeddings = model.encode(sentences)
print(util.dot_score(embeddings, embeddings))

性能指标

模型在encodechka基准测试中的表现：

测试任务说明:

• 语义文本相似度(STS)；
• 复述识别(PI)；
• 自然语言推理(NLI)；
• 情感分析(SA)；
• 毒性识别(TI)。

计算效率与模型规格

模型在encodechka基准测试中的表现：

模型在ruMTEB基准测试中的表现：