语言:

• 英文
• 日文 基础模型:
• lmg-anon/vntl-llama3-8b-v2-hf 任务标签: 翻译

基于lmg-anon/vntl-llama3-8b-v2-hf的imatrix量化版本，使用了Bartowski imatrix数据集的多语言分支

概述

这是对LLaMA 3 Youko进行的qlora微调版本，采用新版VNTL数据集打造。本次微调旨在提升大语言模型将日文视觉小说翻译为英文的表现。

与前一版本不同，本模型移除了"聊天模式"功能。

说明

在VNTL 8B新版中，我从零重建并扩展了VNTL数据集。很高兴地宣布其表现优异，在准确性和稳定性方面超越前作——即使在高温度参数下运行，其错误率也显著降低（但仍建议温度设为0以获得最佳精度）。

本版本主要改进：

• 改用默认LLaMA3提示格式（因用户反馈原自定义格式存在使用障碍）
• 新增完整的多行翻译支持（旧版仅能处理单行文本）
• 整体翻译准确度提升

需注意：虽然翻译更精准，但相较前版译文会更偏向直译风格。

采样建议

为获得最佳效果，强烈建议使用中性采样参数（温度0且不设重复惩罚）。

训练详情

本次微调采用与前版相似的超参数，唯一区别在于使用了全新构建的数据集。

• 秩: 128
• Alpha值: 32
• 有效批大小: 45
• 预热比例: 0.02
• 学习率: 6e-5
• 嵌入层学习率: 1e-5
• 优化器: grokadamw
• 学习率调度: 余弦退火
• 权重衰减: 0.01

训练损失: 0.42

翻译提示格式

本微调采用LLaMA 3提示格式，以下是翻译示例：

<|begin_of_text|><|start_header_id|>元数据<|end_header_id|>

[角色] 姓名: 瓜生新吾 | 性别: 男性 | 别名: お兄ちゃん
[角色] 姓名: 瓜生桜乃 | 性别: 女性<|eot_id|><|start_header_id|>日文<|end_header_id|>

[桜乃]: 『……ごめん』<|eot_id|><|start_header_id|>英文<|end_header_id|>

[Sakuno]: 『... Sorry.』<|eot_id|><|start_header_id|>日文<|end_header_id|>

[新吾]: 「ううん、こう言っちゃなんだけど、迷子でよかったよ。桜乃は可愛いから、いろいろ心配しちゃってたんだぞ俺」<|eot_id|><|start_header_id|>英文<|end_header_id|>

[Shingo]: "不，虽然这么说有点怪，但你迷路了我反而庆幸。因为桜乃这么可爱，我可是担心得不得了呢。"<|eot_id|>

当温度设为0时，该提示生成的翻译为：

[Shingo]: "不，虽然这么说有点怪，但你迷路了我反而庆幸。因为桜乃这么可爱，我可是担心得不得了呢。"

背景注释

元数据区块不仅限于角色信息——您还可以添加背景知识，指导模型正确发音其难以处理的词汇。

示例：

<|begin_of_text|><|start_header_id|>元数据<|end_header_id|>

[角色] 姓名: 瓜生新吾 | 性别: 男性 | 别名: お兄ちゃん
[角色] 姓名: 瓜生桜乃 | 性别: 女性
[物品] 名称: 叢雨丸 | 类型: 名刀<|eot_id|><|start_header_id|>日文<|end_header_id|>

[桜乃]: 『……ごめん』<|eot_id|><|start_header_id|>英文<|end_header_id|>

[Sakuno]: 『... Sorry.』<|eot_id|><|start_header_id|>日文<|end_header_id|>

[新吾]: 「ううん、こう言っちゃなんだけど、迷子でよかったよ。桜乃は叢雨丸いから、いろいろ心配しちゃってたんだぞ俺」<|eot_id|><|start_header_id|>英文<|end_header_id|>

当温度设为0时，生成的翻译为：

[Shingo]: "不，虽然这么说不太合适，但你迷路了我反而放心。因为桜乃带着叢雨丸，我可是提心吊胆了好久呢。"