语言: 西班牙语 英语
标签:

• 翻译 西班牙语 英语 模型 数据集:
• dcep europarl jrc-acquis 小部件:
• 文本: "来自乔纳斯·舍斯特德（GUE/NGL）"

legal_t5_small_trans_es_en_small_finetuned 模型

该模型用于将法律文本从西班牙语翻译成英语。首次发布于此仓库。该模型首先在无监督任务上对所有翻译数据进行预训练，随后基于jrc-acquis、europarl和dcep三个平行语料库进行训练。

模型描述

legal_t5_small_trans_es_en_small_finetuned最初通过训练集所有数据进行无监督任务预训练，该任务为“掩码语言建模”。该模型基于t5-small架构，采用dmodel = 512、dff = 2,048、8头注意力机制以及编码器与解码器各6层的精简结构，参数量约6000万。

使用范围与限制

本模型专用于西班牙语法律文本至英语的翻译。

使用方法

通过PyTorch调用模型进行翻译的示例代码如下：

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_trans_es_en_small_finetuned"),
    tokenizer=AutoTokenizer.from_pretrained(
        pretrained_model_name_or_path="SEBIS/legal_t5_small_trans_es_en", 
        do_lower_case=False, 
        skip_special_tokens=True
    ),
    device=0
)

es_text = "de Jonas Sjöstedt (GUE/NGL)"

pipeline([es_text], max_length=512)

训练数据

模型训练数据涵盖JRC-ACQUIS、EUROPARL和DCEP三大平行语料库，总计900万条平行文本，包含有监督任务（特定语言对）和无监督任务（全语言对数据）。

训练流程

在单台TPU Pod V3-8上完成25万步训练，序列长度512（批量大小4096）。采用编码器-解码器架构，使用AdaFactor优化器配合平方根倒数学习率调度进行预训练。

预处理

基于平行语料库8800万行文本训练unigram模型获取词汇表（采用字节对编码）。

预训练

预训练数据整合了全部42种语言对，通过随机掩码句子片段进行预测任务。

评估结果

模型在翻译测试集上的表现如下：

测试结果：

引用信息

由Ahmed Elnaggar/@Elnaggar_AI创建 | 领英主页