语言:

• 英语

• 葡萄牙语

数据集:

• EMEA

• ParaCrawl 99k

• CAPES

• Scielo

• JRC-Acquis

• 生物医学领域语料库

标签:

• 翻译

评估指标:

• BLEU

简介

本仓库提供了在有限硬件配置下实现T5模型进行葡萄牙语-英语翻译任务的方案。我们通过对分词器和后处理流程的优化改进翻译效果，并采用葡萄牙语预训练模型进行翻译。更多信息请访问我们的代码库。另请参阅我们的论文！

使用方法

只需按照"在Transformers中使用"的说明操作。需要注意的是，在使用T5模型前需添加任务定义前缀。

您也可以创建翻译管道。以句子"Eu gosto de comer arroz"为例：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
  
tokenizer = AutoTokenizer.from_pretrained("unicamp-dl/translation-pt-en-t5")

model = AutoModelForSeq2SeqLM.from_pretrained("unicamp-dl/translation-pt-en-t5")

pten_pipeline = pipeline('text2text-generation', model=model, tokenizer=tokenizer)

pten_pipeline("translate Portuguese to English: Eu gosto de comer arroz.")

引用文献

@inproceedings{lopes-etal-2020-lite,
    title = "葡萄牙语-英语双向翻译的轻量化训练策略",
    author = "洛佩斯, 亚历山大 和
      诺盖拉, 罗德里戈 和
      洛图福, 罗伯托 和
      佩德里尼, 赫利奥",
    booktitle = "第五届机器翻译会议论文集",
    month = "11月",
    year = "2020",
    address = "线上",
    publisher = "计算语言学协会",
    url = "https://www.aclweb.org/anthology/2020.wmt-1.90",
    pages = "833--840",
}