语言: 德语 英语
标签:

• 翻译 德语 英语 模型 数据集:
• dcep europarl jrc-acquis 小部件:
• 文本: "(2) 理事会第80/987/EEC号指令(4)旨在为雇员在其雇主破产时提供最低限度的保护。因此，该指令要求成员国设立一个机构，以确保雇员未获满足的索赔要求得到满足。"

legal_t5_small_trans_de_en 模型

该模型用于将法律文本从德语翻译成英语。首次发布于此仓库。此模型基于jrc-acquis、europarl和dcep三个平行语料库训练而成。

模型描述

legal_t5_small_trans_de_en基于t5-small模型，并在大规模平行文本语料库上进行训练。这是一个较小的模型，通过使用dmodel = 512、dff = 2,048、8头注意力机制以及编码器和解码器各6层来缩小基础模型规模。该变体约有6000万参数。

预期用途与限制

该模型可用于将法律文本从德语翻译成英语。

使用方法

以下是如何在PyTorch中使用此模型将法律文本从德语翻译成英语的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_trans_de_en"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_trans_de_en", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

de_text = "铁路公司必须通过至少以下一种销售渠道提供车票：售票窗口或自动售票机、电话、互联网或任何其他广泛可用的信息技术，或在列车上。"

pipeline([de_text], max_length=512)

训练数据

legal_t5_small_trans_de_en模型在JRC-ACQUIS、EUROPARL和DCEP数据集上训练，包含500万平行文本。

训练过程

该模型在单个TPU Pod V3-8上总共训练了25万步，使用序列长度512（批量大小4096）。总参数约2.2亿，采用编码器-解码器架构。优化器使用AdaFactor，并采用逆平方根学习率调度进行预训练。

预处理

使用来自平行语料库（所有可能的语言对）的8800万行文本训练一个unigram模型以获取词汇表（采用字节对编码），该词汇表与此模型配合使用。

预训练

评估结果

当模型用于翻译测试数据集时，获得以下结果：

测试结果：

BibTeX条目及引用信息

由Ahmed Elnaggar/@Elnaggar_AI创建 | LinkedIn