标签:

• 翻译
• 日语

语言:

• 日语
• 英语

许可证: MIT

小部件:

• 文本: "今日もご安全に"

mbart-ja-en

该模型基于facebook/mbart-large-cc25，并使用JESC数据集进行了微调。
This model is based on facebook/mbart-large-cc25 and fine-tuned with JESC dataset.

使用方法

from transformers import (
    MBartForConditionalGeneration, MBartTokenizer
)

tokenizer = MBartTokenizer.from_pretrained("ken11/mbart-ja-en")
model = MBartForConditionalGeneration.from_pretrained("ken11/mbart-ja-en")

inputs = tokenizer("こんにちは", return_tensors="pt")
translated_tokens = model.generate(**inputs, decoder_start_token_id=tokenizer.lang_code_to_id["en_XX"], early_stopping=True, max_length=48)
pred = tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0]
print(pred)

训练数据

训练使用了JESC数据集。
感谢发布如此大规模的数据集。

分词器

分词器使用了基于JESC数据集训练的sentencepiece。

备注

在京都大学JEC基础句子数据上评估的sacrebleu得分为18.18。

许可证

MIT许可证