语言:

• 俄语
• 埃尔齐亚语 标签:
• 埃尔齐亚语
• 莫尔多瓦语族
• 填充掩码
• 预训练
• 嵌入表示
• 掩码语言模型
• 特征提取
• 句子相似度 许可证: cc-by-sa-4.0 数据集:
  • slone/myv_ru_2022

这是论文《埃尔齐亚语首个神经机器翻译系统》中提出的埃尔齐亚语（myv，西里尔字母）句子编码器。

该模型基于sentence-transformers/LaBSE（许可证见此），但更新了词汇表和检查点：

• 移除非英语/俄语的高频词之外的所有词元；
• 新增埃尔齐亚语专用词元；
• 使用混合任务在slone/myv_ru_2022语料库上微调：
  • 基于平行ru-myv语料，从原始LaBSE模型蒸馏跨语言句子嵌入；
  • 在myv单语数据上进行掩码语言建模；
  • 通过句子对分类任务区分正确ru-myv翻译与随机组合。

该模型可用作埃尔齐亚语的句子编码器或掩码语言预测器，也可微调用于任何下游自然语言理解任务。

生成句子嵌入的代码如下：

import torch
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("slone/LaBSE-en-ru-myv-v1")
model = AutoModel.from_pretrained("slone/LaBSE-en-ru-myv-v1")
sentences = ["Hello World", "Привет Мир", "Шумбратадо Мастор"]
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')
with torch.no_grad():
    model_output = model(**encoded_input)
embeddings = model_output.pooler_output
embeddings = torch.nn.functional.normalize(embeddings)
print(embeddings.shape)  # torch.Size([3, 768])