语言:

• 英语
• 越南语 标签:
• 翻译 许可证: apache-2.0 数据集:
• ALT 评估指标:
• sacrebleu

这是基于MarianMT预训练模型（英语-中文）进行微调的模型，目标语言对为英语-越南语。 训练的第一阶段（混合训练）在包含英语-中文和英语-越南语句子的数据集上进行。 训练的第二阶段（纯训练）在仅包含英语-越南语句子的数据集上进行。

示例

%%capture
!pip install transformers transformers[sentencepiece]

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
# 从hub下载英语-越南语预训练模型
model = AutoModelForSeq2SeqLM.from_pretrained("CLAck/en-vi")

tokenizer = AutoTokenizer.from_pretrained("CLAck/en-vi")
# 下载一个能处理英语的分词器，因为模型的分词器已不再具备此功能
# 我们使用了初始模型的分词器
# 该分词器用于对输入句子进行分词
tokenizer_en = AutoTokenizer.from_pretrained('Helsinki-NLP/opus-mt-en-zh')
# 需要添加这些特殊标记以重现原始分词器
tokenizer_en.add_tokens(["<2zh>", "<2vi>"], special_tokens=True)

sentence = "The cat is on the table"
# 需要此标记来识别目标语言
input_sentence = "<2vi> " + sentence 
translated = model.generate(**tokenizer_en(input_sentence, return_tensors="pt", padding=True))
output_sentence = [tokenizer.decode(t, skip_special_tokens=True) for t in translated]

训练结果

混合训练

纯训练