许可协议: llama3
数据集:

• lmg-anon/VNTL-v5-1k
  语言:
• 日语
• 英语
  基础模型: rinna/llama-3-youko-8b
  任务标签: 翻译

概述

这是基于LLaMA 3 Youko的qlora微调版本，使用了新版VNTL数据集。该微调旨在提升大语言模型将日语视觉小说翻译为英语的性能。

与前一版本不同，此版本不包含"聊天模式"。

注意事项

针对VNTL 8B的新版本，我从零开始重建并扩展了VNTL数据集，其表现非常出色，在准确性和稳定性上超越了前一版本。即使在高温度参数下运行，其错误率也显著降低（但仍建议使用温度0以获得最佳准确性）。

本版本主要变更：

• 改用默认LLaMA3提示格式（因用户反馈自定义格式存在困难）
• 新增对多行翻译的支持（旧版仅支持单行）
• 整体翻译准确性提升

需注意：虽然翻译更准确，但相较于前一版本，译文趋向于更直译的风格。

采样建议

为获得最佳效果，强烈建议使用中性采样参数（温度0且无重复惩罚）。

训练详情

本次微调采用与前一版本相似的超参数，唯一区别在于使用了全新构建的数据集。

• 秩: 128
• Alpha: 32
• 有效批大小: 45
• 预热比例: 0.02
• 学习率: 6e-5
• 嵌入学习率: 1e-5
• 优化器: grokadamw
• 学习率调度: cosine
• 权重衰减: 0.01

训练损失: 0.42

翻译提示模板

本微调采用LLaMA 3提示格式，以下是翻译示例：

<|begin_of_text|><|start_header_id|>元数据<|end_header_id|>

[角色] 姓名: 瓜生新吾 | 性别: 男性 | 别名: お兄ちゃん  
[角色] 姓名: 瓜生樱乃 | 性别: 女性<|eot_id|><|start_header_id|>日语<|end_header_id|>  

[樱乃]: 『……ごめん』<|eot_id|><|start_header_id|>英语<|end_header_id|>  

[Sakuno]: 『... Sorry.』<|eot_id|><|start_header_id|>日语<|end_header_id|>  

[新吾]: 「ううん、こう言っちゃなんだけど、迷子でよかったよ。桜乃は可愛いから、いろいろ心配しちゃってたんだぞ俺」<|eot_id|><|start_header_id|>英语<|end_header_id|>  

[Shingo]: "不，虽然这么说有点怪，但你迷路真是太好了。因为樱乃这么可爱，我真的很担心你。"<|eot_id|>  

当温度参数设为0时，该提示生成的翻译为：

[Shingo]: "不，虽然这么说有点怪，但你迷路真是太好了。因为樱乃这么可爱，我真的很担心你。"

扩展应用

元数据部分不仅限于角色信息——您还可以添加背景知识，指导模型正确翻译其易出错的词汇。

示例：

<|begin_of_text|><|start_header_id|>元数据<|end_header_id|>  

[角色] 姓名: 瓜生新吾 | 性别: 男性 | 别名: お兄ちゃん  
[角色] 姓名: 瓜生樱乃 | 性别: 女性  
[元素] 名称: 丛雨丸 | 类型: 名刀<|eot_id|><|start_header_id|>日语<|end_header_id|>  

[樱乃]: 『……ごめん』<|eot_id|><|start_header_id|>英语<|end_header_id|>  

[Sakuno]: 『... Sorry.』<|eot_id|><|start_header_id|>日语<|end_header_id|>  

[新吾]: 「ううん、こう言っちゃなんだけど、迷子でよかったよ。桜乃は叢雨丸いから、いろいろ心配しちゃってたんだぞ俺」<|eot_id|><|start_header_id|>英语<|end_header_id|>  

当温度参数设为0时，生成译文为：

[Shingo]: "不，虽然这么说不太合适，但你迷路真是太好了。因为樱乃的丛雨丸，我真的很担心你啊。"