语言: ["俄语", "英语"] 标签:

• 特征提取
• 嵌入向量
• 句子相似度

英语与俄语专用LaBSE模型

本模型是sentence-transformers/LaBSE的精简版本，而后者又是对谷歌LaBSE模型的移植。

当前版本词汇表仅保留英语和俄语词元，词汇量缩减至原版的10%，整体模型参数量保留27%，同时完全保持英语和俄语嵌入向量的原始质量。

获取句子嵌入向量的示例代码：

import torch
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("cointegrated/LaBSE-en-ru")
model = AutoModel.from_pretrained("cointegrated/LaBSE-en-ru")
sentences = ["Hello World", "Привет Мир"]
encoded_input = tokenizer(sentences, padding=True, truncation=True, max_length=64, return_tensors='pt')
with torch.no_grad():
    model_output = model(**encoded_input)
embeddings = model_output.pooler_output
embeddings = torch.nn.functional.normalize(embeddings)
print(embeddings)

模型裁剪过程详见此笔记本。该方案可适配其他语言（如EIStakovskii/LaBSE-fr-de）、模型或数据集。

参考文献：

Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Narveen Ari, Wei Wang. 语言无关的BERT句子嵌入. 2020年7月

许可证：https://tfhub.dev/google/LaBSE/1