license: mit
language:

• 沃洛夫语
• 法语
  metrics:
• bleu
  pipeline_tag: translation
  tags:
• 文本生成推理

模型文档：基于NLLB-200的沃洛夫语-法语翻译模型

模型概述

本文档描述了一个基于Meta的NLLB-200模型微调的机器翻译模型，用于从沃洛夫语翻译成法语。该模型托管在cifope/nllb-200-wo-fr-distilled-600M，使用了NLLB-200模型的蒸馏版本，专门针对沃洛夫语和法语之间的翻译任务进行了优化。

依赖项

该模型需要Hugging Face的transformers库。请确保已安装该库：

pip install transformers  

设置

从transformers库中导入必要的类：

from transformers import AutoModelForSeq2SeqLM, NllbTokenizer  

初始化模型和分词器：

model = AutoModelForSeq2SeqLM.from_pretrained('cifope/nllb-200-wo-fr-distilled-600M')  
tokenizer = NllbTokenizer.from_pretrained('facebook/nllb-200-distilled-600M')  

翻译函数

从法语翻译为沃洛夫语

translate函数将文本从法语翻译为沃洛夫语：

def translate(text, src_lang='fra_Latn', tgt_lang='wol_Latn', a=16, b=1.5, max_input_length=1024, **kwargs):  
    tokenizer.src_lang = src_lang  
    tokenizer.tgt_lang = tgt_lang  
    inputs = tokenizer(text, return_tensors='pt', padding=True, truncation=True, max_length=max_input_length)  
    result = model.generate(  
        **inputs.to(model.device),  
        forced_bos_token_id=tokenizer.convert_tokens_to_ids(tgt_lang),  
        max_new_tokens=int(a + b * inputs.input_ids.shape[1]),  
        **kwargs  
    )  
    return tokenizer.batch_decode(result, skip_special_tokens=True)  

从沃洛夫语翻译为法语

reversed_translate函数将文本从沃洛夫语翻译为法语：

def reversed_translate(text, src_lang='wol_Latn', tgt_lang='fra_Latn', a=16, b=1.5, max_input_length=1024, **kwargs):  
    tokenizer.src_lang = src_lang  
    tokenizer.tgt_lang = tgt_lang  
    inputs = tokenizer(text, return_tensors='pt', padding=True, truncation=True, max_length=max_input_length)  
    result = model.generate(  
        **inputs.to(model.device),  
        forced_bos_token_id=tokenizer.convert_tokens_to_ids(tgt_lang),  
        max_new_tokens=int(a + b * inputs.input_ids.shape[1]),  
        **kwargs  
    )  
    return tokenizer.batch_decode(result, skip_special_tokens=True)  

使用示例

要使用该模型翻译文本，只需调用translate或reversed_translate函数，并传入相应的文本和参数。例如：

french_text = "L'argent peut être échangé à la seule banque des îles située à Stanley"  
wolof_translation = translate(french_text)  
print(wolof_translation)  

wolof_text = "alkaati yi tàmbali nañu xàll léegi kilifa gi ñów"  
french_translation = reversed_translate(wolof_text)  
print(french_translation)  

wolof_text = "alkaati yi tàmbali nañu xàll léegi kilifa gi ñów"  
english_translation = reversed_translate(wolof_text,tgt_lang="eng_Latn")  
print(english_translation)