语言:
- 希腊语
- 英语
标签:
- 翻译
- opus-mt-tc
许可证: cc-by-4.0
模型索引:
- 名称: opus-mt-tc-big-en-el
结果:
- 任务:
名称: 英语-希腊语翻译
类型: 翻译
参数: eng-ell
数据集:
名称: flores101-devtest
类型: flores_101
参数: eng ell devtest
指标:
- 名称: BLEU
类型: bleu
值: 27.4
- 任务:
名称: 英语-希腊语翻译
类型: 翻译
参数: eng-ell
数据集:
名称: tatoeba-test-v2021-08-07
类型: tatoeba_mt
参数: eng-ell
指标:
- 名称: BLEU
类型: bleu
值: 55.4
opus-mt-tc-big-en-el
用于从英语(en)翻译到现代希腊语(1453-)(el)的神经机器翻译模型。
该模型是OPUS-MT项目的一部分,该项目旨在为世界上的许多语言广泛提供和普及神经机器翻译模型。所有模型最初都是使用Marian NMT这一纯C++编写的高效NMT实现框架进行训练的。模型已通过huggingface的transformers库转换为pyTorch格式。训练数据取自OPUS,训练流程使用了OPUS-MT-train的程序。
@inproceedings{tiedemann-thottingal-2020-opus,
title = "{OPUS}-{MT} {--} 为世界构建开放的翻译服务",
author = {Tiedemann, J{\"o}rg 和 Thottingal, Santhosh},
booktitle = "第22届欧洲机器翻译协会年会论文集",
month = 11月,
year = "2020",
address = "葡萄牙里斯本",
publisher = "欧洲机器翻译协会",
url = "https://aclanthology.org/2020.eamt-1.61",
pages = "479--480",
}
@inproceedings{tiedemann-2020-tatoeba,
title = "Tatoeba翻译挑战赛 {--} 为低资源和多语言机器翻译提供真实数据集",
author = {Tiedemann, J{\"o}rg},
booktitle = "第五届机器翻译会议论文集",
month = 11月,
year = "2020",
address = "线上",
publisher = "计算语言学协会",
url = "https://aclanthology.org/2020.wmt-1.139",
pages = "1174--1182",
}
模型信息
使用方式
简短示例代码:
from transformers import MarianMTModel, MarianTokenizer
src_text = [
"If I weren't broke, I'd buy it.",
"I received your telegram."
]
model_name = "pytorch-models/opus-mt-tc-big-en-el"
tokenizer = MarianTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)
translated = model.generate(**tokenizer(src_text, return_tensors="pt", padding=True))
for t in translated:
print( tokenizer.decode(t, skip_special_tokens=True) )
您也可以使用transformers的pipelines来调用OPUS-MT模型,例如:
from transformers import pipeline
pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-tc-big-en-el")
print(pipe("If I weren't broke, I'd buy it."))
基准测试
语言对 |
测试集 |
chr-F |
BLEU |
句子数 |
单词数 |
eng-ell |
tatoeba-test-v2021-08-07 |
0.73660 |
55.4 |
10899 |
66884 |
eng-ell |
flores101-devtest |
0.53952 |
27.4 |
1012 |
26615 |
致谢
这项工作得到了欧洲语言网格作为试点项目2866的支持,由FoTran项目资助,该项目由欧洲研究理事会(ERC)根据欧盟Horizon 2020研究与创新计划(资助协议编号771113)资助,以及MeMAD项目资助,该项目由欧盟Horizon 2020研究与创新计划根据资助协议编号780069资助。我们也感谢CSC – IT科学中心提供的慷慨计算资源和IT基础设施。
模型转换信息
- transformers版本:4.16.2
- OPUS-MT git哈希:3405783
- 转换时间:2022年4月13日星期三EEST 16:52:58
- 转换机器:LM0-400-22516.local