语言：德语 西班牙语
标签：

• 翻译 德语 西班牙语 模型
  数据集：
• dcep europarl jrc-acquis
  小部件：
• 文本: "7. 强调指出，鉴于该领域女性就业率高以及其为促进职业与私人生活平衡所提供的服务的重要性，委员会和成员国必须提升、支持并加强女性在社会经济中的角色；"

legal_t5_small_trans_de_es 模型

该模型用于将法律文本从德语翻译成西班牙语，首次发布于此仓库。模型基于jrc-acquis、europarl和dcep三个平行语料库训练而成。

模型描述

legal_t5_small_trans_de_es基于t5-small模型，通过大规模平行文本训练得到。作为一个小型化模型，它通过采用dmodel = 512、dff = 2,048、8头注意力机制以及编码器和解码器各6层的结构，将基础t5模型规模缩减至约6000万参数。

使用范围与限制

本模型专用于德语法律文本到西班牙语的翻译任务。

使用方法

以下示例展示如何在PyTorch中使用该模型进行德语到西班牙语的法律文本翻译：

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_trans_de_es"),
    tokenizer=AutoTokenizer.from_pretrained(
        pretrained_model_name_or_path="SEBIS/legal_t5_small_trans_de_es", 
        do_lower_case=False, 
        skip_special_tokens=True
    ),
    device=0
)

de_text = "7. 强调指出，鉴于该领域女性就业率高以及其为促进职业与私人生活平衡所提供的服务的重要性，委员会和成员国必须提升、支持并加强女性在社会经济中的角色；"

pipeline([de_text], max_length=512)

训练数据

模型训练使用了包含500万平行文本的JRC-ACQUIS、EUROPARL和DCEP数据集。

训练过程

模型在单台TPU Pod V3-8上完成25万步训练，采用512序列长度（批次大小4096）。总参数量约2.2亿，基于编码器-解码器架构，使用AdaFactor优化器配合逆平方根学习率调度进行预训练。

预处理

基于平行语料库中8800万行文本（涵盖所有可能语言对）训练unigram模型获取词汇表（采用字节对编码），供本模型使用。

预训练

[此处应补充预训练具体细节]

评估结果

模型在翻译测试数据集上表现如下：

测试结果：

BibTeX引用信息

由Ahmed Elnaggar/@Elnaggar_AI创建 | LinkedIn