基础模型:

• thefrigidliquidation/lightnovel-translate-Qwen2.5-32B 语言:
• 英文
• 日文 许可证: apache-2.0 任务标签: 文本生成

适用于日英轻小说翻译的Qwen2.5 32B模型

本模型针对轻小说及网络小说进行了日译英的微调训练。

可完整翻译章节内容（输入输出总长度上限为32K词元）。

使用方法

通过llama.cpp加载模型

提示词格式

<|im_start|>system
将以下日文文本翻译为英文<|im_end|>
<|im_start|>user
{待译文本}<|im_end|>
<|im_start|>assistant

示例:

<|im_start|>system
将以下日文文本翻译为英文<|im_end|>
<|im_start|>user
<GLOSSARY>
マイン : Myne
</GLOSSARY>
マイン、ルッツが迎えに来たよ<|im_end|>
<|im_start|>assistant
Myne, Lutz is here to take you home.

术语表为可选内容，如无需使用可移除。

文本预处理

日文文本须经以下clean_string函数预处理，将特定Unicode字符转换为ASCII等效字符。未执行此操作可能导致问题。

import ftfy

FTFY_ADDITIONAL_MAP = {
    "—": "--",
    "–": "-",
    "⸻": "----",
    "«": "\"",
    "»": "\"",
    "〝": "\"",
    "〟": "\"",
    "✧": "*",
    "✽": "*",
    "⬤": "*",
    "⭘": "*",
    "∴": "*",
    "∵": "*",
    "✩": "*",
    "【": "[",
    "】": "]",
    "「": "[",
    "」": "]",
    "〖": "[",
    "〗": "]",
    "〈": "<",
    "〉": ">",
    "《": "<<",
    "》": ">>",
}

def clean_string(text: str, strip: bool = True) -> str:
    config = ftfy.TextFixerConfig(normalization="NFC")
    s = ftfy.fix_text(text, config=config)
    s = "\n".join((x.strip() if strip else x.rstrip()) for x in s.splitlines())
    for b, g in FTFY_ADDITIONAL_MAP.items():
        s = s.replace(b, g)
    return s

术语表功能

运行时最多可提供30个名词或角色名的自定义翻译。 在待译章节前添加用<GLOSSARY></GLOSSARY>标签包裹的术语表（每行格式为日文术语 : 英文术语）。

例如若需将マイン译为Myne，可按以下方式构建输入提示词：

glossary = [
    {"ja": "マイン", "en": "Myne"},
]
chapter_text = "マイン、ルッツが迎えに来たよ"

def make_glossary_str(glossary: list[dict[str, str]]) -> str:
    if glossart is None or len(glossary) == 0:
        return ""
    unique_glossary = {(term['ja'], term['en']) for term in glossary}
    terms = "\n".join([f"{ja} : {en}" for ja, en in unique_glossary])
    return f"<GLOSSARY>\n{terms}\n</GLOSSARY>\n"

user_prompt = f"{make_glossary_str(glossary)}{clean_string(chapter_text)}"

<GLOSSARY>
マイン : Myne
</GLOSSARY>
マイン、ルッツが迎えに来たよ