Hugging Face 标志

语言:

• 约鲁巴语
• 英语
  数据集:
• JW300 + Menyo-20k

mT5_base_eng_yor_mt

模型描述

mT5_base_yor_eng_mt 是一个基于微调 mT5-base 模型的机器翻译模型，可实现从英语到约鲁巴语的文本翻译。该模型为英译约鲁巴语任务建立了强基准。

该模型是在 JW300 约鲁巴语语料库和 Menyo-20k 数据集上微调的 mT5_base 版本。

用途与限制

使用方法

可通过 Transformers 的 pipeline 进行机器翻译：

from transformers import MT5ForConditionalGeneration, T5Tokenizer

model = MT5ForConditionalGeneration.from_pretrained("Davlan/mt5_base_eng_yor_mt")
tokenizer = T5Tokenizer.from_pretrained("google/mt5-base")
input_string = "Where are you?"
inputs = tokenizer.encode(input_string, return_tensors="pt")
generated_tokens = model.generate(inputs)
results = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
print(results)

局限性

由于训练数据来自特定时间段的实体标注新闻文章，该模型在不同领域的泛化能力可能受限。

训练数据

模型在 JW300 语料库和 Menyo-20k 数据集上微调

训练过程

使用单块 NVIDIA V100 GPU 完成训练

测试集评估结果(BLEU分数)

在 Menyo-20k 测试集 上获得 9.82 BLEU 分

引用信息

作者：David Adelani