语言:

• 俄语 任务标签: 句子相似度 标签:
• 俄语
• 填充掩码
• 预训练
• 嵌入向量
• 掩码语言模型
• 微型模型
• 特征提取
• 句子相似度
• 句子转换器
• 变换器 许可证: MIT 示例输入:
• 文本: "适用于[MASK]多种任务的微型模型。"

这是cointegrated/rubert-tiny的升级版本：一个基于BERT的小型俄语编码器，能生成高质量的句子嵌入向量。更多细节可参阅这篇俄语文章。

与前一版本的主要区别包括：

• 更大的词汇表：从29564个词元扩展到83828个；
• 支持更长的序列：从512扩展到2048；
• 句子嵌入向量更接近LaBSE的表现；
• 具有实际意义的片段嵌入（在NLI任务上进行了调优）；
• 该模型仅专注于俄语处理。

该模型可直接用于生成句子嵌入向量（例如用于短文本的KNN分类），也可针对下游任务进行微调。

生成句子嵌入向量的方法如下：

# 安装依赖：pip install transformers sentencepiece
import torch
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("cointegrated/rubert-tiny2")
model = AutoModel.from_pretrained("cointegrated/rubert-tiny2")
# 如有GPU可取消注释：model.cuda()

def embed_bert_cls(text, model, tokenizer):
    t = tokenizer(text, padding=True, truncation=True, return_tensors='pt')
    with torch.no_grad():
        model_output = model(**{k: v.to(model.device) for k, v in t.items()})
    embeddings = model_output.last_hidden_state[:, 0, :]
    embeddings = torch.nn.functional.normalize(embeddings)
    return embeddings[0].cpu().numpy()

print(embed_bert_cls('你好世界', model, tokenizer).shape)
# 输出：(312,)

也可使用sentence_transformers库调用该模型：

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('cointegrated/rubert-tiny2')
sentences = ["你好世界", "hello world", "宇宙你好"]
embeddings = model.encode(sentences)
print(embeddings)