许可协议: gpl-3.0
数据集:

• JosephusCheung/GuanacoDataset
• yahma/alpaca-cleaned
  语言:
• 英文
• 中文
• 日语
  标签:
• llama
• guanaco
• alpaca
• lora
• 微调

Guanaco-leh-V2：基于LLaMA 7B的多语言指令跟随语言模型

本模型使用guanaco-lora进行训练，同时训练了lora、embed_tokens和lm_head部分。

数据集来源于alpaca-cleaned和guanaco。
通过训练嵌入层和头部，该模型在中文和日语上的表现优于原始LLaMA，并支持基于指令的提示。您可以更轻松地使用此模型。

由于此模型使用guanaco数据集训练，您也可以将其用作聊天机器人。只需使用以下格式：

### 指令：  
用户：<消息历史>  
助手：<消息历史>  

### 输入：  
系统：<系统对下一条消息的响应，可选>  
用户：<下一条消息>  

### 响应：  

提示：为了减少令牌消耗，我移除了原始提示的第一行。如果您想使用此模型，请考虑移除该行。

与之前模型的区别

主要区别包括：

• 模型在bf16而非8bit上训练
• 上下文截断长度增加到1024
• 使用更大的数据集（最新的guanaco + alpaca cleaned = 540k条数据）
• 使用更大的批量大小（64->128）

由于训练数据中包含更多基于聊天的数据，此模型更适合聊天机器人用途。

尝试此模型

您可以通过此Colab尝试此模型。
或使用guanaco-lora中的generate.py，所有示例均由guanaco-lora生成。

如果您想使用guanaco-7b-leh-v2-adapter/中的lora模型，请记得关闭load_in_8bit，或手动将其合并到7B模型中！

推荐生成参数：

• 温度：0.5~0.7
• top p：0.65~1.0
• top k：30~50
• 重复惩罚：1.03~1.17

训练设置

• 使用2x3090进行模型并行训练
• 批量大小 = bsz 8 * grad acc 16 = 128
• 上下文截断长度 = 1024
• 仅训练输出部分（带损失掩码）
• 启用长度分组
• 538k条数据，2个epoch（约8400步）
• 学习率2e-4

一些示例

（如您所见，虽然guanaco可以流畅回复，但内容相当混乱。因此您可能需要在系统部分添加一些内容。）

我使用guanaco通过指令将一篇中文文章翻译为日语/德语/英语，并用GPT-4进行评分，结果如下：

更多信息

为什么使用lora+embed+head

首先，我认为当LLM在某些语言上表现不佳时，如果您想对其进行微调，应该训练嵌入层和头部部分。
但问题是：“为什么不直接进行原生微调？”
如果您搜索过一些alpaca模型或训练相关内容，可能会注意到它们存在一个问题：“记忆”。
每个epoch开始时损失会下降，就像某种“过拟合”。
在我看来，这是因为LLaMA的参数数量太大，导致它只是记住了所有训练数据。

但如果我对注意力部分使用lora（忽略MLP部分），参数数量不足以“记住训练数据”，因此更不容易记住所有内容。