opus-mt-ine-en开源机器翻译模型 - 支持超50种印欧语系语言译英语

首页

Opus Mt Ine En

由 Helsinki-NLP 开发

这是一个基于Transformer架构的多语言到英语的机器翻译模型，支持超过50种印欧语系语言的翻译任务。

机器翻译

Transformers

支持多种语言开源协议:Apache-2.0 #多印欧语种支持 #新闻领域优化 #Transformer架构

下载量 510

发布时间 : 3/2/2022

模型简介

该模型专注于将多种印欧语系语言翻译成英语，采用Transformer架构和SentencePiece预处理，在多个测试集上表现出色。

模型特点

多语言支持

支持超过50种印欧语系语言的翻译任务，涵盖广泛的语言变体和方言。

标准化预处理

采用标准化和SentencePiece(spm32k)预处理方法，提高翻译质量和一致性。

Transformer架构

基于先进的Transformer架构，提供高质量的翻译结果。

模型能力

文本翻译

多语言处理

印欧语系语言转换

使用案例

新闻翻译

新闻内容翻译

将各种语言的新闻内容翻译成英语

在多个新闻测试集上表现良好，如newsdev2016罗马尼亚语-英语BLEU 35.5

多语言内容本地化

网站内容本地化

将多语言网站内容翻译成英语版本

🚀 印欧语系到英语翻译模型

本项目提供了一个用于将印欧语系语言翻译为英语的模型。该模型基于Transformer架构，支持多种印欧语系语言的翻译，可广泛应用于跨语言交流和信息获取等场景。

🚀 快速开始

你可以通过以下链接获取模型的相关资源：

下载原始权重：opus2m-2020-08-01.zip
测试集翻译：opus2m-2020-08-01.test.txt
测试集得分：opus2m-2020-08-01.eval.txt
OPUS说明文档：ine-eng

✨ 主要特性

多语言支持：支持众多印欧语系语言到英语的翻译，涵盖了如阿拉伯语、阿尔巴尼亚语、古英语等多种语言。
Transformer架构：采用Transformer模型，具有较强的语言理解和生成能力。
预处理：进行了归一化和SentencePiece处理（spm32k,spm32k），有助于提升模型性能。

📚 详细文档

模型信息

属性	详情
模型类型	Transformer
源语言组	印欧语系语言
目标语言组	英语
源语言	afr aln ang_Latn arg asm ast awa bel bel_Latn ben bho bos_Latn bre bul bul_Latn cat ces cor cos csb_Latn cym dan deu dsb egl ell enm_Latn ext fao fra frm_Latn frr fry gcf_Latn gla gle glg glv gom gos got_Goth grc_Grek gsw guj hat hif_Latn hin hrv hsb hye ind isl ita jdt_Cyrl ksh kur_Arab kur_Latn lad lad_Latn lat_Latn lav lij lit lld_Latn lmo ltg ltz mai mar max_Latn mfe min mkd mwl nds nld nno nob nob_Hebr non_Latn npi oci ori orv_Cyrl oss pan_Guru pap pdc pes pes_Latn pes_Thaa pms pnb pol por prg_Latn pus roh rom ron rue rus san_Deva scn sco sgs sin slv snd_Arab spa sqi srp_Cyrl srp_Latn stq swe swg tgk_Cyrl tly_Latn tmw_Latn ukr urd vec wln yid zlm_Latn zsm_Latn zza
目标语言	eng
预处理	归一化 + SentencePiece (spm32k,spm32k)

基准测试

测试集	BLEU	chr-F
newsdev2014-hineng.hin.eng	11.2	0.375
newsdev2016-enro-roneng.ron.eng	35.5	0.614
newsdev2017-enlv-laveng.lav.eng	25.1	0.542
......（此处省略部分内容，完整表格请查看原文）	......	......
Tatoeba-test.zza-eng.zza.eng	1.7	0.131

系统信息

Hugging Face名称：ine-eng
源语言：ine
目标语言：eng
OPUS说明文档URL：https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/ine-eng/README.md
原始仓库：Tatoeba-Challenge
标签：['translation']
支持语言：['ca', 'es', 'os', 'ro', 'fy', 'cy', 'sc', 'is', 'yi', 'lb', 'an', 'sq', 'fr', 'ht', 'rm', 'ps', 'af', 'uk', 'sl', 'lt', 'bg', 'be', 'gd', 'si', 'en', 'br', 'mk', 'or', 'mr', 'ru', 'fo', 'co', 'oc', 'pl', 'gl', 'nb', 'bn', 'id', 'hy', 'da', 'gv', 'nl', 'pt', 'hi', 'as', 'kw', 'ga', 'sv', 'gu', 'wa', 'lv', 'el', 'it', 'hr', 'ur', 'nn', 'de', 'cs', 'ine']
源语言成分：{'cat', 'spa', 'pap', 'mwl', 'lij', 'bos_Latn', 'lad_Latn', 'lat_Latn', 'pcd', 'oss', 'ron', 'fry', 'cym', 'awa', 'swg', 'zsm_Latn', 'srd', 'gcf_Latn', 'isl', 'yid', 'bho', 'ltz', 'kur_Latn', 'arg', 'pes_Thaa', 'sqi', 'csb_Latn', 'fra', 'hat', 'non_Latn', 'sco', 'pnb', 'roh', 'bul_Latn', 'pus', 'afr', 'ukr', 'slv', 'lit', 'tmw_Latn', 'hsb', 'tly_Latn', 'bul', 'bel', 'got_Goth', 'lat_Grek', 'ext', 'gla', 'mai', 'sin', 'hif_Latn', 'eng', 'bre', 'nob_Hebr', 'prg_Latn', 'ang_Latn', 'aln', 'mkd', 'ori', 'mar', 'afr_Arab', 'san_Deva', 'gos', 'rus', 'fao', 'orv_Cyrl', 'bel_Latn', 'cos', 'zza', 'grc_Grek', 'oci', 'mfe', 'gom', 'bjn', 'sgs', 'tgk_Cyrl', 'hye_Latn', 'pdc', 'srp_Cyrl', 'pol', 'ast', 'glg', 'pms', 'nob', 'ben', 'min', 'srp_Latn', 'zlm_Latn', 'ind', 'rom', 'hye', 'scn', 'enm_Latn', 'lmo', 'npi', 'pes', 'dan', 'rus_Latn', 'jdt_Cyrl', 'gsw', 'glv', 'nld', 'snd_Arab', 'kur_Arab', 'por', 'hin', 'dsb', 'asm', 'lad', 'frm_Latn', 'ksh', 'pan_Guru', 'cor', 'gle', 'swe', 'guj', 'wln', 'lav', 'ell', 'frr', 'rue', 'ita', 'hrv', 'urd', 'stq', 'nno', 'deu', 'lld_Latn', 'ces', 'egl', 'vec', 'max_Latn', 'pes_Latn', 'ltg', 'nds'}
目标语言成分：{'eng'}
源语言多语言性：True
目标语言多语言性：False
训练日期：2020-08-01
源语言双字母代码：ine
目标语言双字母代码：en
是否偏好旧版本：False
长语言对：ine-eng
Helsinki Git SHA：480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535
Transformers Git SHA：2207e5d8cb224e954a7cba69fa4ac2309e9ff30b
移植机器：brutasse
移植时间：2020-08-21-14:41