语言:

• 英语
• 威尔士语 许可证: apache-2.0 管道标签: 翻译 标签:
• 翻译
• marian 指标:
• bleu
• cer
• chrf
• cer
• wer
• wil
• wip 小部件:
• 文本: >- 《2021年威尔士课程与评估法案》（简称该法案）确立了威尔士课程体系，并取代了此前通用的课程框架。 示例标题: 示例1 模型索引:
• 名称: mt-dspec-legislation-en-cy 结果:
  • 任务: 名称: 翻译 类型: 翻译 数据集: 名称: "多样化" 类型: "文本" 指标:
    • 类型: bleu 值: 65.51
    • 类型: cer 值: 0.28
    • 类型: chrf 值: 74.69
    • 类型: wer 值: 0.39
    • 类型: wil 值: 0.54
    • 类型: wip 值: 0.46

mt-dspec-legislation-en-cy

专用于法律领域的英语与威尔士语互译语言模型。

本模型采用定制化DVC流程训练，基于Marian NMT框架，训练数据集源自以下渠道：

• 英国政府立法数据
• OPUS-cy-en平行语料库
• 威尔士国民议会记录
• Techiaith Cymru语料库

数据划分为训练集、验证集和测试集：测试集包含从Techiaith Cymru网站预分类为法律领域的TMX文件中随机选取的立法相关片段，以及从英国政府立法网站抓取的数据文件。

提取测试集后，剩余数据被划分为10组训练集和验证集，分别输入10个marian训练会话。

评估

使用SacreBLEU和torchmetricsPython库生成评估分数。

使用指南

确保已安装必备Python库：

# 下方对transformers版本的约束源于以下问题：
#    https://github.com/huggingface/transformers/issues/26271
pip install sentencepiece "transformers>4.26.1<=4.30.2"

import transformers
model_id = "techiaith/mt-spec-health-en-cy"
tokenizer = transformers.AutoTokenizer.from_pretrained(model_id)
model = transformers.AutoModelForSeq2SeqLM.from_pretrained(model_id)
translate = transformers.pipeline("translation", model=model, tokenizer=tokenizer)
translated = translate(
  "《2021年威尔士课程与评估法案》（简称该法案）确立了威尔士课程体系，"
  "并取代了此前通用的课程框架。"
)
print(translated["translation_text"])