语言:

• 俄语

任务标签:

• 句子相似度

标签:

• 俄语
• 预训练
• 嵌入向量
• 微型模型
• 特征提取
• 句子相似度
• sentence-transformers
• transformers

数据集:

• IlyaGusev/gazeta
• zloelias/lenta-ru

许可证: mit 基础模型: cointegrated/rubert-tiny2

适用于CPU的语义文本相似度(STS)基础Bert模型

这是一个用于计算俄语句子紧凑嵌入向量的基础BERT模型。该模型基于cointegrated/rubert-tiny2开发——具有相同的上下文长度(2048)和嵌入维度(312)，但层数从3层增加到7层。

使用transformers库调用模型:

# pip install transformers sentencepiece
import torch
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("sergeyzh/rubert-mini-sts")
model = AutoModel.from_pretrained("sergeyzh/rubert-mini-sts")
# model.cuda()  # 如果有GPU可以取消注释

def embed_bert_cls(text, model, tokenizer):
    t = tokenizer(text, padding=True, truncation=True, return_tensors='pt')
    with torch.no_grad():
        model_output = model(**{k: v.to(model.device) for k, v in t.items()})
    embeddings = model_output.last_hidden_state[:, 0, :]
    embeddings = torch.nn.functional.normalize(embeddings)
    return embeddings[0].cpu().numpy()

print(embed_bert_cls('你好世界', model, tokenizer).shape)
# (312,)

使用sentence_transformers调用:

from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer('sergeyzh/rubert-mini-sts')

sentences = ["你好世界", "hello world", "问候宇宙"]
embeddings = model.encode(sentences)
print(util.dot_score(embeddings, embeddings))

性能指标

在encodechka基准测试中的表现:

任务说明:

• 语义文本相似度(STS);
• 复述识别(PI);
• 自然语言推理(NLI);
• 情感分析(SA);
• 毒性识别(TI).

运行效率与模型规格

在encodechka基准测试中: