语言:

• 俄语
• 英语

标签:

• 俄语
• 填充掩码
• 预训练
• 嵌入向量
• 掩码语言模型
• 微型模型
• 特征提取
• 句子相似度

许可证: MIT

应用示例:

• 文本: "微型模型适用于[MASK]多种任务。"

管道标签: 填充掩码

这是针对俄语和英语的bert-base-multilingual-cased模型的极小型蒸馏版本（45MB，1200万参数）。该模型还有升级版本rubert-tiny2，具有更大的词汇量且在几乎所有俄语自然语言理解任务上表现更优。

如果您需要为相对简单的俄语任务（如命名实体识别或情感分类）进行微调，且更注重速度与体积而非绝对准确率，此模型非常适用。其体积与速度约为标准BERT模型的十分之一。该模型的[CLS]嵌入向量可作为俄英双语对齐的句子表征使用。

模型训练数据来源于Yandex翻译语料库、OPUS-100和Tatoeba，采用以下技术：

• 基于bert-base-multilingual-cased蒸馏的MLM损失
• 翻译排序损失
• 从LaBSE、rubert-base-cased-sentence、Laser和USE蒸馏的[CLS]嵌入

更详细的俄语说明文档可供参考。

生成句子嵌入向量的方法如下：

# 安装依赖：pip install transformers sentencepiece
import torch
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("cointegrated/rubert-tiny")
model = AutoModel.from_pretrained("cointegrated/rubert-tiny")
# model.cuda()  # 如有GPU请取消注释

def embed_bert_cls(text, model, tokenizer):
    t = tokenizer(text, padding=True, truncation=True, return_tensors='pt')
    with torch.no_grad():
        model_output = model(**{k: v.to(model.device) for k, v in t.items()})
    embeddings = model_output.last_hidden_state[:, 0, :]
    embeddings = torch.nn.functional.normalize(embeddings)
    return embeddings[0].cpu().numpy()

print(embed_bert_cls('你好世界', model, tokenizer).shape)
# 输出维度：(312,)