语言：瑞典语 英语
标签：

• 翻译 瑞典语 英语 模型
  数据集：
• dcep europarl jrc-acquis
  小部件示例：
• 文本："由以下议员提交："

legal_t5_small_multitask_sv_en 模型

该模型用于将法律文本从瑞典语翻译成英语，首次发布于此仓库。模型在jrc-acquis、europarl和dcep三个平行语料库的42种语言对上并行训练，同时结合了无监督任务——通过掩码语言模型进行预测任务。

模型描述

legal_t5_small_multitask_sv_en模型未进行预训练，而是将无监督任务与所有翻译任务结合，实现了多任务学习场景。

预期用途与限制

该模型可用于瑞典语法律文本到英语的翻译。

使用方法

以下是使用PyTorch调用该模型进行瑞典语到英语法律文本翻译的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_multitask_sv_en"),
    tokenizer=AutoTokenizer.from_pretrained(
        pretrained_model_name_or_path="SEBIS/legal_t5_small_multitask_sv_en", 
        do_lower_case=False, 
        skip_special_tokens=True
    ),
    device=0
)

sv_text = "由以下议员提交："

pipeline([sv_text], max_length=512)

训练数据

legal_t5_small_multitask_sv_en模型（包含对应语言对的监督任务及所有语言对数据的无监督任务）基于JRC-ACQUIS、EUROPARL和DCEP数据集训练，共包含900万平行文本。

训练过程

模型在单台TPU Pod V3-8上训练总计25万步，序列长度512（批次大小4096）。采用编码器-解码器架构，总参数量约2.2亿，使用AdaFactor优化器配合平方根倒数学习率调度。

预处理

基于平行语料库（所有可能语言对）的8800万行文本训练unigram模型获取词汇表（采用字节对编码），供本模型使用。

预训练说明

本模型未进行传统预训练。

评估结果

模型在翻译测试数据集上表现如下：

测试结果：

BibTeX引用信息

由Ahmed Elnaggar/@Elnaggar_AI创建 | LinkedIn