语言: 法语 英语
标签:

• 翻译 法语 英语 模型 数据集:
• dcep europarl jrc-acquis 小部件:
• 文本: "quels montants ont été attribués et quelles sommes ont été effectivement utilisées dans chaque État membre? 4."

legal_t5_small_trans_fr_en 模型

该模型用于将法律文本从法语翻译成英语。首次发布于此仓库。此模型基于jrc-acquis、europarl和dcep三个平行语料库训练而成。

模型描述

legal_t5_small_trans_fr_en基于t5-small模型，并在大规模平行文本语料库上训练。这是一个较小规模的模型，通过采用dmodel = 512、dff = 2,048、8头注意力机制以及编码器和解码器各仅6层，对基准t5模型进行了缩放。此变体约含6000万参数。

预期用途与限制

该模型可用于法律文本从法语到英语的翻译。

使用方法

以下是如何在PyTorch中使用此模型进行法律文本法语到英语的翻译：

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_trans_fr_en"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_trans_fr_en", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

fr_text = "quels montants ont été attribués et quelles sommes ont été effectivement utilisées dans chaque État membre? 4."

pipeline([fr_text], max_length=512)

训练数据

legal_t5_small_trans_fr_en模型基于JRC-ACQUIS、EUROPARL和DCEP数据集训练，共包含500万平行文本。

训练过程

模型在单个TPU Pod V3-8上总计训练了25万步，序列长度512（批次大小4096）。总参数量约2.2亿，采用编码器-解码器架构。优化器使用AdaFactor，并采用逆平方根学习率调度进行预训练。

预处理

基于平行语料库（所有可能的语言对）中的8800万行文本训练一元模型，以获取词汇表（采用字节对编码），该词汇表与此模型配套使用。

预训练

评估结果

当模型用于翻译测试数据集时，获得如下结果：

测试结果：

BibTeX条目及引用信息

由Ahmed Elnaggar/@Elnaggar_AI创建 | 领英