语言: 法语 西班牙语
标签:

• 翻译 法语 西班牙语 模型 数据集:
• dcep europarl jrc-acquis 小部件:
• 文本: "commission des libertés civiles, de la justice et des affaires intérieures"

legal_t5_small_trans_fr_es 模型

该模型用于将法律文本从法语翻译成西班牙语。首次发布于此仓库。该模型基于jrc-acquis、europarl和dcep三个平行语料库训练而成。

模型描述

legal_t5_small_trans_fr_es基于t5-small模型，并在大规模平行文本语料库上进行训练。这是一个较小规模的模型，通过使用dmodel = 512、dff = 2,048、8头注意力机制以及编码器和解码器各6层，对基准t5模型进行了缩放。此变体约含6000万参数。

预期用途与限制

该模型可用于法语法律文本到西班牙语的翻译。

使用方法

以下是如何在PyTorch中使用该模型将法语法律文本翻译成西班牙语：

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_trans_fr_es"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_trans_fr_es", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

fr_text = "commission des libertés civiles, de la justice et des affaires intérieures"

pipeline([fr_text], max_length=512)

训练数据

legal_t5_small_trans_fr_es模型基于JRC-ACQUIS、EUROPARL和DCEP数据集训练，共包含500万平行文本。

训练过程

该模型在单个TPU Pod V3-8上总计训练了25万步，序列长度为512（批量大小4096）。总参数量约2.2亿，采用编码器-解码器架构。优化器使用AdaFactor，并采用逆平方根学习率调度进行预训练。

预处理

基于平行语料库（所有可能的语言对）中的8800万行文本训练了一个unigram模型，以获取词汇表（采用字节对编码），该词汇表与此模型配合使用。

预训练

评估结果

当模型用于翻译测试数据集时，获得以下结果：

测试结果：

BibTeX条目及引用信息

由Ahmed Elnaggar/@Elnaggar_AI创建 | LinkedIn