语言：捷克语 瑞典语
标签：

• 翻译 捷克语 瑞典语 模型
  数据集：
• dcep europarl jrc-acquis
  小部件：
• 文本："Odborná příprava je v sektoru minimální a tradiční, postrádá specifické kurzy nebo výukové plány."

legal_t5_small_trans_cs_sv 模型

该模型用于将法律文本从捷克语翻译成瑞典语，首次发布于此仓库。模型基于jrc-acquis、europarl和dcep三个平行语料库训练而成。

模型描述

legal_t5_small_trans_cs_sv基于t5-small模型，通过大规模平行文本训练得到。这是一个较小规模的模型，通过将基准t5模型的dmodel缩减至512、dff降至2,048、采用8头注意力机制以及仅6层编码器和解码器实现。该变体约含6000万参数。

使用范围与限制

本模型适用于捷克语法律文本到瑞典语的翻译。

使用方法

以下为在PyTorch中使用该模型进行法律文本翻译的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_trans_cs_sv"),
    tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_trans_cs_sv", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

cs_text = "Odborná příprava je v sektoru minimální a tradiční, postrádá specifické kurzy nebo výukové plány."

pipeline([cs_text], max_length=512)

训练数据

legal_t5_small_trans_cs_sv模型基于JRC-ACQUIS、EUROPARL和DCEP数据集训练，共包含500万平行文本。

训练过程

模型在单台TPU Pod V3-8上训练总计25万步，序列长度512（批量大小4096）。总参数量约2.2亿，采用编码器-解码器架构，使用AdaFactor优化器配合平方根倒数学习率调度进行预训练。

预处理

基于平行语料库（所有可能的语言对）中的8800万行文本训练unigram模型获取词汇表（采用字节对编码），本模型使用该词汇表。

预训练

评估结果

模型在翻译测试数据集上表现如下：

测试结果：

BibTeX条目与引用信息

由Ahmed Elnaggar/@Elnaggar_AI创建 | LinkedIn