语言: 瑞典语 英语
标签:

• 翻译 瑞典语 英语 模型
  数据集:
• dcep europarl jrc-acquis
  小部件:
• 文本: "若针对监察专员正在调查的情况启动法律程序，其应终止案件处理。"

legal_t5_small_trans_sv_en 模型

本模型专用于将法律文本从瑞典语翻译至英语，首次发布于此代码库。模型基于jrc-acquis、europarl和dcep三个平行语料库训练而成。

模型描述

legal_t5_small_trans_sv_en基于t5-small模型架构，采用大规模平行文本训练。作为轻量化版本，其通过以下配置缩减基础模型规模：dmodel = 512，dff = 2,048，8头注意力机制，编码器与解码器各仅6层，参数量约6000万。

应用场景与限制

本模型适用于瑞典语法律文本的英译工作。

使用方法

通过PyTorch进行瑞典语至英语法律文本翻译的示例代码如下：

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_trans_sv_en"),
    tokenizer=AutoTokenizer.from_pretrained(
        pretrained_model_name_or_path="SEBIS/legal_t5_small_trans_sv_en", 
        do_lower_case=False,
        skip_special_tokens=True),
    device=0
)

sv_text = "若针对监察专员正在调查的情况启动法律程序，其应终止案件处理。"

pipeline([sv_text], max_length=512)

训练数据

模型训练数据包含JRC-ACQUIS、EUROPARL和DCEP三大语料库，总计500万平行文本。

训练流程

模型在TPU Pod V3-8单节点上完成25万步训练，序列长度512（批次大小4096）。采用编码器-解码器架构，总参数量约2.2亿，使用AdaFactor优化器配合平方根倒数学习率调度方案进行预训练。

预处理

基于平行语料库（全语言对组合）中的8800万行文本训练unigram模型，通过字节对编码获取词汇表。

预训练

[此处应有预训练细节，但原文未提供具体内容]

评估结果

模型在翻译测试数据集上的表现如下：

测试结果：

引用信息

开发者：Ahmed Elnaggar/@Elnaggar_AI | LinkedIn