语言:

• 埃尔齐亚语
• 俄语
• 芬兰语
• 德语
• 西班牙语
• 英语
• 印地语
• 中文
• 土耳其语
• 乌克兰语
• 法语
• 阿拉伯语 标签:
• 埃尔齐亚语
• 莫尔多维亚语
• 翻译 许可证: cc-by-sa-4.0 数据集:
  • slone/myv_ru_2022
  • yhavinga/ccmatrix

这是一个将文本从其他11种语言（ru,fi,de,es,en,hi,zh,tr,uk,fr,ar）翻译成埃尔齐亚语（myv，西里尔字母）的模型。查看其演示！

该模型在论文《埃尔齐亚语的第一个神经机器翻译系统》中有详细描述。

此模型基于facebook/mbart-large-50，但更新了词汇表和检查点：

• 添加了一个额外的语言标记myv_XX和19K个新的BPE标记用于埃尔齐亚语；
• 微调以从埃尔齐亚语翻译：首先翻译成俄语，然后翻译成所有11种语言。

以下代码可用于运行模型的翻译功能：

from transformers import MBartForConditionalGeneration, MBart50Tokenizer


def fix_tokenizer(tokenizer):
    """ 向分词器词汇表中添加一个新的语言标记（每次初始化后都应执行此操作） """
    old_len = len(tokenizer) - int('myv_XX' in tokenizer.added_tokens_encoder)
    tokenizer.lang_code_to_id['myv_XX'] = old_len-1
    tokenizer.id_to_lang_code[old_len-1] = 'myv_XX'
    tokenizer.fairseq_tokens_to_ids["<mask>"] = len(tokenizer.sp_model) + len(tokenizer.lang_code_to_id) + tokenizer.fairseq_offset

    tokenizer.fairseq_tokens_to_ids.update(tokenizer.lang_code_to_id)
    tokenizer.fairseq_ids_to_tokens = {v: k for k, v in tokenizer.fairseq_tokens_to_ids.items()}
    if 'myv_XX' not in tokenizer._additional_special_tokens:
        tokenizer._additional_special_tokens.append('myv_XX')
    tokenizer.added_tokens_encoder = {}


def translate(text, model, tokenizer, src='ru_RU', trg='myv_XX', max_length='auto', num_beams=3, repetition_penalty=5.0, train_mode=False, n_out=None, **kwargs):
    tokenizer.src_lang = src
    encoded = tokenizer(text, return_tensors="pt", truncation=True, max_length=1024)
    if max_length == 'auto':
        max_length = int(32 + 1.5 * encoded.input_ids.shape[1])
    if train_mode:
        model.train()
    else:
        model.eval()
    generated_tokens = model.generate(
        **encoded.to(model.device),
        forced_bos_token_id=tokenizer.lang_code_to_id[trg], 
        max_length=max_length, 
        num_beams=num_beams,
        repetition_penalty=repetition_penalty,
        num_return_sequences=n_out or 1,
        **kwargs
    )
    out = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
    if isinstance(text, str) and n_out is None:
        return out[0]
    return out
    

mname = 'slone/mbart-large-51-myv-mul-v1'
model = MBartForConditionalGeneration.from_pretrained(mname)
tokenizer = MBart50Tokenizer.from_pretrained(mname)
fix_tokenizer(tokenizer)


print(translate('Шумбрат, киска!', model, tokenizer, src='myv_XX', trg='ru_RU'))
# 你好，狗狗！   # 实际上，"киска"从埃尔齐亚语翻译过来确实是这个意思
print(translate('Шумбрат, киска!', model, tokenizer, src='myv_XX', trg='en_XX'))
# 你好，狗狗！