语言: 德语 瑞典语
标签:

• 翻译 德语 瑞典语 模型 数据集:
• dcep europarl jrc-acquis 小部件:
• 文本: "Betrifft: Leader-Programm"

legal_t5_small_trans_de_sv 模型

该模型用于将法律文本从德语翻译成瑞典语。首次发布于此仓库。此模型基于jrc-acquis、europarl和dcep三个平行语料库训练而成。

模型描述

legal_t5_small_trans_de_sv基于t5-small模型，并在大规模平行文本语料库上训练。这是一个较小规模的模型，通过使用dmodel = 512、dff = 2,048、8头注意力机制以及编码器和解码器各仅6层，对基准t5模型进行了缩放。此变体约含6000万参数。

预期用途与限制

该模型可用于将法律文本从德语翻译成瑞典语。

使用方法

以下是如何在PyTorch中使用此模型进行德语到瑞典语法律文本翻译的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_trans_de_sv"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_trans_de_sv", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

de_text = "Betrifft: Leader-Programm"

pipeline([de_text], max_length=512)

训练数据

legal_t5_small_trans_de_sv模型在JRC-ACQUIS、EUROPARL和DCEP数据集上训练，包含500万平行文本。

训练过程

模型在单个TPU Pod V3-8上总共训练了25万步，使用序列长度512（批量大小4096）。总参数量约为2.2亿，采用编码器-解码器架构。优化器使用AdaFactor，并采用逆平方根学习率调度进行预训练。

预处理

使用来自平行语料库（所有可能的语言对）的8800万行文本训练了一个unigram模型以获取词汇表（采用字节对编码），该词汇表与此模型配合使用。

预训练

评估结果

当模型用于翻译测试数据集时，获得以下结果：

测试结果：

BibTeX条目及引用信息

由Ahmed Elnaggar/@Elnaggar_AI创建 | LinkedIn