license: llama3 datasets:

• lmg-anon/VNTL-v5-1k language:
• ja
• en library_name: transformers base_model: rinna/llama-3-youko-8b pipeline_tag: translation

模型概述

这是基于LLaMA 3 Youko的qlora微调版本，使用新版VNTL数据集训练而成。该微调旨在提升大语言模型将日语视觉小说翻译为英语的性能。

与前一版本不同，本模型移除了"聊天模式"功能。

版本说明

本次发布的VNTL 8B新版彻底重构并扩展了数据集，其表现显著优于旧版——在翻译准确性和稳定性方面均有提升，即使在高温度参数下也较少出错（但仍建议使用温度参数0以获得最佳准确度）。

主要改进包括：

• 改用标准LLaMA3提示格式（因用户反馈原自定义格式存在使用障碍）
• 新增多行翻译支持（旧版仅支持单行翻译）
• 整体翻译准确率提升

需注意：虽然翻译更准确，但相较于旧版译文会更偏向直译风格。

采样建议

为获得最佳效果，强烈建议使用中性采样参数（温度参数0且不设重复惩罚）。

训练参数

本微调采用与前一版本相似的超参数，仅数据集为全新构建：

• 秩：128
• Alpha值：32
• 有效批大小：45
• 预热比例：0.02
• 学习率：6e-5
• 嵌入层学习率：1e-5
• 优化器：grokadamw
• 学习率调度：cosine
• 权重衰减：0.01

训练损失值：0.42

翻译提示格式

本微调采用LLaMA 3标准提示格式，示例如下：

<|begin_of_text|><|start_header_id|>Metadata<|end_header_id|>

[角色] 姓名：瓜生新吾 | 性别：男 | 别名：お兄ちゃん
[角色] 姓名：瓜生桜乃 | 性别：女<|eot_id|><|start_header_id|>日语原文<|end_header_id|>

[桜乃]: 『……ごめん』<|eot_id|><|start_header_id|>英语译文<|end_header_id|>

[Sakuno]: 『... Sorry.』<|eot_id|><|start_header_id|>日语原文<|end_header_id|>

[新吾]: 「ううん、こう言っちゃなんだけど、迷子でよかったよ。桜乃は可愛いから、いろいろ心配しちゃってたんだぞ俺」<|eot_id|><|start_header_id|>英语译文<|end_header_id|>

[Shingo]: "Nah, I know it’s weird to say this, but I’m glad you got lost. You’re so cute, Sakuno, so I was really worried about you."<|eot_id|>

当温度参数设为0时，该提示生成的译文为：

[Shingo]: "Nah, I know it’s weird to say this, but I’m glad you got lost. You’re so cute, Sakuno, so I was really worried about you."

扩展应用

元数据区块不仅可记录角色信息，还能添加背景注释来指导模型处理疑难词汇：

示例：

<|begin_of_text|><|start_header_id|>Metadata<|end_header_id|>

[角色] 姓名：瓜生新吾 | 性别：男 | 别名：お兄ちゃん
[角色] 姓名：瓜生桜乃 | 性别：女
[物品] 名称：叢雨丸 | 类型：名刀<|eot_id|><|start_header_id|>日语原文<|end_header_id|>

[桜乃]: 『……ごめん』<|eot_id|><|start_header_id|>英语译文<|end_header_id|>

[Sakuno]: 『... Sorry.』<|eot_id|><|start_header_id|>日语原文<|end_header_id|>

[新吾]: 「ううん、こう言っちゃなんだけど、迷子でよかったよ。桜乃は叢雨丸いから、いろいろ心配しちゃってたんだぞ俺」<|eot_id|><|start_header_id|>英语译文<|end_header_id|>

温度参数0时的生成译文：

[Shingo]: "Nah, I know it’s not the best thing to say, but I’m glad you got lost. Sakuno’s Murasamemaru, so I was really worried about you, you know?"