B

Bibert Ende

由 jhu-clsp 开发
BiBERT-ende是一个专为神经机器翻译(NMT)优化的双语(英语-德语)预训练语言模型,通过提供上下文嵌入提升翻译性能。
下载量 40
发布时间 : 3/2/2022

模型简介

BiBERT-ende是一个定制化的双语预训练语言模型,旨在通过将上下文嵌入直接输入到NMT编码器中,简化现有预训练模型的整合过程,并实现最先进的翻译性能。

模型特点

双语预训练
专门针对英语和德语的双语预训练,优化了跨语言上下文理解。
简化整合
通过直接使用上下文嵌入作为NMT编码器输入,简化了预训练模型的整合过程。
随机层选择
提出随机层选择方法,确保充分利用上下文嵌入的不同层次特征。
双向翻译模型
支持双向翻译(英语→德语和德语→英语),并在两个方向上均实现高性能。

模型能力

英语到德语机器翻译
德语到英语机器翻译
上下文嵌入生成

使用案例

机器翻译
IWSLT'14数据集翻译
在IWSLT'14数据集上实现英语→德语30.45和德语→英语38.61的BLEU分数。
超越所有已发表的结果
WMT'14数据集翻译
在WMT'14数据集上实现英语→德语31.26和德语→英语34.94的BLEU分数。
超越所有已发表的结果
AIbase
智启未来,您的人工智能解决方案智库
简体中文