语言:

• 英语
• 日语 标签:
• nllb 许可证: cc-by-nc-4.0

基于NLLB 1.3B微调的日英轻小说翻译模型

本模型针对轻小说及网络小说的日译英任务进行了微调训练。

可处理最长512个标记的句子和段落翻译。

使用方法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("thefrigidliquidation/nllb-jaen-1.3B-lightnovels")
model = AutoModelForSeq2SeqLM.from_pretrained("thefrigidliquidation/nllb-jaen-1.3B-lightnovels")

generated_tokens = model.generate(
    **inputs,
    forced_bos_token_id=tokenizer.lang_code_to_id[tokenizer.tgt_lang],
    max_new_tokens=1024,
    no_repeat_ngram_size=6,
).cpu()

translated_text = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)[0]

推荐使用多样化束搜索生成译文，在model.generate中添加以下参数：

num_beams=8,
num_beam_groups=4,
do_sample=False,

术语表

运行时最多可提供10个自定义名词或角色名的翻译。用术语标记包围日语词汇：前缀使用<t0>, <t1>, ..., <t9>，后缀使用</t>。模型会将术语翻译为前缀标记，后续可通过字符串替换还原。

例如：将マイン、ルッツが迎えに来たよ中的マイン译为Myne，需改写为<t0>マイン</t>、ルッツが迎えに来たよ。模型输出<t0>, Lutz is here to pick you up.后，只需将<t0>替换为Myne即可。

敬语处理

可强制控制敬语使用模式：

# 默认模式，由模型自主决定是否使用敬语
tokenizer.tgt_lang = "jpn_Jpan"
# 禁用敬语，模型会尽量避免使用敬语
tokenizer.tgt_lang = "zsm_Latn"
# 启用敬语，模型会倾向使用敬语表达
tokenizer.tgt_lang = "zul_Latn"