语言:

• 保加利亚语 (bg)
• 波斯尼亚语 (bs)
• 英语 (en)
• 克罗地亚语 (hr)
• 马其顿语 (mk)
• 塞尔维亚-克罗地亚语 (sh)
• 斯洛文尼亚语 (sl)
• 塞尔维亚语 (sr)
• 南斯拉夫语族 (zls)

标签:

• 翻译
• opus-mt-tc

许可证: cc-by-4.0

模型索引:

• 名称: opus-mt-tc-big-zls-en 结果:
  • 任务: 名称: 保加利亚语-英语翻译 类型: 翻译 参数: bul-eng 数据集: 名称: flores101-devtest 类型: flores_101 参数: bul eng devtest 指标:
    • 名称: BLEU 类型: bleu 值: 42.0
  • 任务: 名称: 克罗地亚语-英语翻译 类型: 翻译 参数: hrv-eng 数据集: 名称: flores101-devtest 类型: flores_101 参数: hrv eng devtest 指标:
    • 名称: BLEU 类型: bleu 值: 37.1
  • 任务: 名称: 马其顿语-英语翻译 类型: 翻译 参数: mkd-eng 数据集: 名称: flores101-devtest 类型: flores_101 参数: mkd eng devtest 指标:
    • 名称: BLEU 类型: bleu 值: 43.2
  • 任务: 名称: 斯洛文尼亚语-英语翻译 类型: 翻译 参数: slv-eng 数据集: 名称: flores101-devtest 类型: flores_101 参数: slv eng devtest 指标:
    • 名称: BLEU 类型: bleu 值: 35.2
  • 任务: 名称: 塞尔维亚语西里尔字母-英语翻译 类型: 翻译 参数: srp_Cyrl-eng 数据集: 名称: flores101-devtest 类型: flores_101 参数: srp_Cyrl eng devtest 指标:
    • 名称: BLEU 类型: bleu 值: 36.8
  • 任务: 名称: 波斯尼亚语拉丁字母-英语翻译 类型: 翻译 参数: bos_Latn-eng 数据集: 名称: tatoeba-test-v2021-08-07 类型: tatoeba_mt 参数: bos_Latn-eng 指标:
    • 名称: BLEU 类型: bleu 值: 66.5
  • 任务: 名称: 保加利亚语-英语翻译 类型: 翻译 参数: bul-eng 数据集: 名称: tatoeba-test-v2021-08-07 类型: tatoeba_mt 参数: bul-eng 指标:
    • 名称: BLEU 类型: bleu 值: 59.3
  • 任务: 名称: 塞尔维亚-克罗地亚语-英语翻译 类型: 翻译 参数: hbs-eng 数据集: 名称: tatoeba-test-v2021-08-07 类型: tatoeba_mt 参数: hbs-eng 指标:
    • 名称: BLEU 类型: bleu 值: 57.3
  • 任务: 名称: 克罗地亚语-英语翻译 类型: 翻译 参数: hrv-eng 数据集: 名称: tatoeba-test-v2021-08-07 类型: tatoeba_mt 参数: hrv-eng 指标:
    • 名称: BLEU 类型: bleu 值: 59.2
  • 任务: 名称: 马其顿语-英语翻译 类型: 翻译 参数: mkd-eng 数据集: 名称: tatoeba-test-v2021-08-07 类型: tatoeba_mt 参数: mkd-eng 指标:
    • 名称: BLEU 类型: bleu 值: 57.4
  • 任务: 名称: 斯洛文尼亚语-英语翻译 类型: 翻译 参数: slv-eng 数据集: 名称: tatoeba-test-v2021-08-07 类型: tatoeba_mt 参数: slv-eng 指标:
    • 名称: BLEU 类型: bleu 值: 23.5
  • 任务: 名称: 塞尔维亚语西里尔字母-英语翻译 类型: 翻译 参数: srp_Cyrl-eng 数据集: 名称: tatoeba-test-v2021-08-07 类型: tatoeba_mt 参数: srp_Cyrl-eng 指标:
    • 名称: BLEU 类型: bleu 值: 47.0
  • 任务: 名称: 塞尔维亚语拉丁字母-英语翻译 类型: 翻译 参数: srp_Latn-eng 数据集: 名称: tatoeba-test-v2021-08-07 类型: tatoeba_mt 参数: srp_Latn-eng 指标:
    • 名称: BLEU 类型: bleu 值: 58.5

opus-mt-tc-big-zls-en

用于从南斯拉夫语族 (zls) 到英语 (en) 的神经机器翻译模型。

该模型是 OPUS-MT 项目 的一部分，该项目致力于使神经机器翻译模型在全球范围内广泛可用和可访问。所有模型最初都是使用 Marian NMT 这一高效的纯 C++ 实现的 NMT 框架进行训练。模型已通过 huggingface 的 transformers 库转换为 pyTorch。训练数据来自 OPUS，训练流程使用 OPUS-MT-train 的程序。

• 出版物: OPUS-MT – 为世界构建开放的翻译服务 和 Tatoeba 翻译挑战 – 为低资源及多语言机器翻译提供真实数据集（使用此模型时请引用）

@inproceedings{tiedemann-thottingal-2020-opus,
    title = "{OPUS}-{MT} {--} 为世界构建开放的翻译服务",
    author = {Tiedemann, J{\"o}rg 和 Thottingal, Santhosh},
    booktitle = "第22届欧洲机器翻译协会年会论文集",
    month = 11月,
    year = "2020",
    address = "葡萄牙里斯本",
    publisher = "欧洲机器翻译协会",
    url = "https://aclanthology.org/2020.eamt-1.61",
    pages = "479--480",
}

@inproceedings{tiedemann-2020-tatoeba,
    title = "Tatoeba 翻译挑战 {--} 为低资源及多语言机器翻译提供真实数据集",
    author = {Tiedemann, J{\"o}rg},
    booktitle = "第五届机器翻译会议论文集",
    month = 11月,
    year = "2020",
    address = "在线",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2020.wmt-1.139",
    pages = "1174--1182",
}

模型信息

• 发布日期: 2022-03-17
• 源语言: 波斯尼亚语拉丁字母 (bos_Latn)、保加利亚语 (bul)、塞尔维亚-克罗地亚语 (hbs)、克罗地亚语 (hrv)、马其顿语 (mkd)、斯洛文尼亚语 (slv)、塞尔维亚语西里尔字母 (srp_Cyrl)、塞尔维亚语拉丁字母 (srp_Latn)
• 目标语言: 英语 (eng)
• 模型: transformer-big
• 数据: opusTCv20210807+bt (来源)
• 分词: SentencePiece (spm32k,spm32k)
• 原始模型: opusTCv20210807+bt_transformer-big_2022-03-17.zip
• 更多发布模型信息: OPUS-MT zls-eng 自述文件

使用示例

简短示例代码:

from transformers import MarianMTModel, MarianTokenizer

src_text = [
    "Да не би случайно Том да остави Мери да кара колата?",
    "Какво е времето днес?"
]

model_name = "pytorch-models/opus-mt-tc-big-zls-en"
tokenizer = MarianTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)
translated = model.generate(**tokenizer(src_text, return_tensors="pt", padding=True))

for t in translated:
    print( tokenizer.decode(t, skip_special_tokens=True) )

# 预期输出:
#     Did Tom just let Mary drive the car?
#     What's the weather like today?

您也可以使用 transformers 的 pipeline 来调用 OPUS-MT 模型，例如:

from transformers import pipeline
pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-tc-big-zls-en")
print(pipe("Да не би случайно Том да остави Мери да кара колата?"))

# 预期输出: Did Tom just let Mary drive the car?

基准测试

• 测试集翻译: opusTCv20210807+bt_transformer-big_2022-03-17.test.txt
• 测试集分数: opusTCv20210807+bt_transformer-big_2022-03-17.eval.txt
• 基准测试结果: benchmark_results.txt
• 基准测试输出: benchmark_translations.zip

致谢

这项工作得到了 欧洲语言网格 作为 试点项目 2866 的支持，由 FoTran 项目 资助，该项目由欧洲研究理事会 (ERC) 根据欧盟 Horizon 2020 研究与创新计划（资助协议编号 771113）资助，以及 MeMAD 项目，该项目由欧盟 Horizon 2020 研究与创新计划根据资助协议编号 780069 资助。我们也感谢 CSC -- 芬兰科学信息技术中心 提供的慷慨计算资源和 IT 基础设施。

模型转换信息

• transformers 版本: 4.16.2
• OPUS-MT git 哈希: 3405783
• 转换时间: 2022年4月13日星期三 EEST 20:12:26
• 转换机器: LM0-400-22516.local