语言: 捷克语 德语
标签:

• 翻译 捷克语 德语 模型
  数据集:
• dcep europarl jrc-acquis
  小部件:
• 文本: "鉴于该法律将直接在成员国适用，并对适用对象施加多项义务，因此有必要为其提供更多时间以适应这些新规则。"

legal_t5_small_trans_cs_de_small_finetuned 模型

该模型用于将法律文本从捷克语翻译成德语，首次发布于此仓库。模型首先通过无监督任务对所有翻译数据进行预训练，随后基于jrc-acquis、europarl和dcep三个平行语料库进行训练。

模型描述

legal_t5_small_trans_cs_de_small_finetuned最初通过无监督任务（掩码语言建模）在训练集全部数据上进行预训练。该模型基于t5-small架构，采用dmodel = 512、dff = 2,048、8头注意力机制以及编码器与解码器各6层的精简结构，参数量约6000万。

使用范围与限制

本模型专用于捷克语法律文本到德语的翻译任务。

使用方法

通过PyTorch调用模型进行翻译的示例代码如下：

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_trans_cs_de_small_finetuned"),
    tokenizer=AutoTokenizer.from_pretrained(
        pretrained_model_name_or_path="SEBIS/legal_t5_small_trans_cs_de", 
        do_lower_case=False, 
        skip_special_tokens=True),
    device=0
)

cs_text = "鉴于该法律将直接在成员国适用，并对适用对象施加多项义务，因此有必要为其提供更多时间以适应这些新规则。"

pipeline([cs_text], max_length=512)

训练数据

模型在包含500万平行文本的JRC-ACQUIS、EUROPARL和DCEP数据集上，通过有监督任务（特定语言对）和无监督任务（全语言对数据）联合训练。

训练过程

在单台TPU Pod V3-8上完成25万步训练，序列长度512（批次大小4096）。模型采用编码器-解码器架构，使用AdaFactor优化器配合平方根倒数学习率调度进行预训练。

预处理

基于8800万行平行语料（全语言对）训练unigram模型获得BPE词汇表。

预训练

使用42种语言对的混合数据进行掩码句子片段预测任务。

评估结果

模型在测试集上的翻译效果如下：

引用信息

由Ahmed Elnaggar/@Elnaggar_AI创建 | LinkedIn