语言:

• 中文
• 日语
• 英语

标签:

• 翻译

示例:

• 文本: "ja2zh: 吾輩は猫である。名前はまだ無い。"

许可证: cc-by-nc-sa-4.0

本模型基于mt5-base微调而成。

通过选取训练数据中前85000个高频词汇，模型词表规模缩减至原版的约1/3。词表裁剪代码详见此处。

使用方法:

from transformers import (
  T5Tokenizer,
  MT5ForConditionalGeneration,
  Text2TextGenerationPipeline,
)

path = "K024/mt5-zh-ja-en-trimmed"
pipe = Text2TextGenerationPipeline(
  model=MT5ForConditionalGeneration.from_pretrained(path),
  tokenizer=T5Tokenizer.from_pretrained(path),
)

sentence = "ja2zh: 吾輩は猫である。名前はまだ無い。"
res = pipe(sentence, max_length=100, num_beams=4)
res[0]['generated_text']

训练数据来源:

维基媒体英日平行语料
维基媒体英中平行语料
维基媒体日中平行语料
维基标题日英平行语料
维基标题中英平行语料
维基矩阵日中平行语料
新闻评论文本英日平行语料
新闻评论文本英中平行语料
新闻评论文本日中平行语料
TED2020英日演讲平行语料
TED2020英中演讲平行语料
TED2020日中演讲平行语料

许可协议: