Opus Mt En Afa

由 Helsinki-NLP 开发

这是一个基于Transformer架构的机器翻译模型，支持从英语到多种亚非语系语言的翻译，包括阿拉伯语方言、阿姆哈拉语、希伯来语等。

机器翻译

Transformers

支持多种语言

开源协议:Apache-2.0 #多方言阿拉伯语支持 #低资源语言翻译 #非洲语言覆盖

下载量 103

发布时间 : 3/2/2022

模型介绍

内容详情

替代品

模型简介

该模型专注于英语到亚非语系语言的翻译任务，采用标准化预处理和SentencePiece分词技术，支持多种阿拉伯语方言及其他亚非语系语言。

模型特点

多语言支持

支持从英语到16种亚非语系语言的翻译，包括多种阿拉伯语方言。

标准化预处理

采用标准化和SentencePiece分词技术(spm32k)进行文本预处理。

语言标识符

翻译时需要添加目标语言标识符(如>>ara<<)，便于模型识别目标语言。

模型能力

英语到亚非语系语言的文本翻译

支持多种阿拉伯语方言翻译

支持低资源语言翻译

使用案例

跨语言交流

英语-阿拉伯语翻译

将英语内容翻译为标准阿拉伯语或特定方言

BLEU 12.0 (标准阿拉伯语)

英语-希伯来语翻译

英语到希伯来语的日常用语翻译

BLEU 32.3

低资源语言支持

英语-索马里语翻译

为索马里语使用者提供英语内容翻译

BLEU 16.0

语言:

英语
索马里语
提格里尼亚语
阿姆哈拉语
希伯来语
马耳他语
阿拉伯语
亚非语系

标签:

翻译

许可证: Apache-2.0

英语-亚非语系

源语言组: 英语
目标语言组: 亚非语系语言
OPUS 说明文档: 英语-亚非语系
模型: Transformer
源语言: 英语
目标语言: 阿拉伯语(埃及方言)、阿拉伯语(海湾方言)、阿姆哈拉语、阿拉伯语(北非方言)、阿拉伯语(标准)、阿拉伯语(阿尔及利亚方言)、阿拉伯语(摩洛哥方言)、阿拉伯语(黎凡特方言)、豪萨语(拉丁字母)、希伯来语、卡拜尔语、马耳他语、里夫语(拉丁字母)、沙维亚语(拉丁字母)、索马里语、提格里尼亚语
模型: Transformer
预处理: 标准化 + SentencePiece (spm32k, spm32k)
句子起始需添加语言标识符，格式为 >>目标语言ID<<
原始权重下载: opus2m-2020-08-01.zip
测试集翻译结果: opus2m-2020-08-01.test.txt
测试集得分: opus2m-2020-08-01.eval.txt

基准测试

测试集	BLEU	chr-F
Tatoeba-test.eng-amh.eng.amh	11.6	0.504
Tatoeba-test.eng-ara.eng.ara	12.0	0.404
Tatoeba-test.eng-hau.eng.hau	10.2	0.429
Tatoeba-test.eng-heb.eng.heb	32.3	0.551
Tatoeba-test.eng-kab.eng.kab	1.6	0.191
Tatoeba-test.eng-mlt.eng.mlt	17.7	0.551
Tatoeba-test.eng.multi	14.4	0.375
Tatoeba-test.eng-rif.eng.rif	1.7	0.103
Tatoeba-test.eng-shy.eng.shy	0.8	0.090
Tatoeba-test.eng-som.eng.som	16.0	0.429
Tatoeba-test.eng-tir.eng.tir	2.7	0.238

系统信息:

框架名称: eng-afa
源语言: 英语
目标语言: 亚非语系
OPUS说明文档链接: https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/eng-afa/README.md
原始仓库: Tatoeba-Challenge
标签: ['翻译']
支持语言: ['英语', '索马里语', '提格里尼亚语', '阿姆哈拉语', '希伯来语', '马耳他语', '阿拉伯语', '亚非语系']
源语言构成: {'英语'}
目标语言构成: {'索马里语', '里夫语(拉丁字母)', '提格里尼亚语', '卡拜尔语', '阿尔及利亚阿拉伯语', '海湾阿拉伯语', '阿姆哈拉语', '埃及阿拉伯语', '希伯来语', '沙维亚语(拉丁字母)', '北非阿拉伯语', '马耳他语', '塔马舍克语', '标准阿拉伯语', '豪萨语(拉丁字母)', '也门阿拉伯语', '摩洛哥阿拉伯语'}
多语言源: 否
多语言目标: 是
预处理: 标准化 + SentencePiece (spm32k, spm32k)
模型下载链接: https://object.pouta.csc.fi/Tatoeba-MT-models/eng-afa/opus2m-2020-08-01.zip
测试集下载链接: https://object.pouta.csc.fi/Tatoeba-MT-models/eng-afa/opus2m-2020-08-01.test.txt
源语言Alpha3代码: eng
目标语言Alpha3代码: afa
语言对简写: en-afa
chrF2得分: 0.375
BLEU得分: 14.4
简短惩罚: 1.0
参考长度: 58110.0
源语言名称: 英语
目标语言名称: 亚非语系语言
训练日期: 2020-08-01
源语言Alpha2代码: en
目标语言Alpha2代码: afa
偏好旧模型: 否
语言对全称: eng-afa
赫尔辛基Git提交哈希: 480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535
Transformers Git提交哈希: 2207e5d8cb224e954a7cba69fa4ac2309e9ff30b
移植机器: brutasse
移植时间: 2020-08-21-14:41