license: llama2

ReFT：基于强化微调的推理方法

论文链接：https://arxiv.org/pdf/2401.08967.pdf

代码仓库：https://github.com/lqtrung1998/mwp_ReFT（基于Apache2.0协议）

简介

我们提出REinforced Fine-tuning（ReFT）方法，通过强化微调增强大语言模型的推理泛化能力。

本仓库包含：

• GSM8k基准上的预热监督微调模型：lqtrung1998/Codellama-7b-hf-SFT-warmup-GSM8k
• GSM8k基准上的监督微调模型：lqtrung1998/Codellama-7b-hf-SFT-GSM8k
• 用于评估SFT模型输出的重排序模型：lqtrung1998/Codellama-7b-hf-SFT-Rerank-GSM8k
• GSM8k基准上的强化微调模型：lqtrung1998/Codellama-7b-hf-ReFT-GSM8k
• 用于评估ReFT模型输出的重排序模型：lqtrung1998/Codellama-7b-hf-ReFT-Rerank-GSM8k

注：我们的模型基于Codellama微调，因此适用于Codellama的Llama协议同样有效

训练数据

使用GSM8k数据集以Python SDP思维链格式训练，数据详见此处

训练流程

完整细节请参阅论文和代码仓库。

ReFT模型

先通过GSM8k Python SDP训练数据进行2轮监督微调预热，随后使用GSM8k训练集问题进行300轮强化微调。

重排序模型

基于ReFT模型预热2轮后的采样数据训练，用于判断输出思维链的正确性。

评估结果

模型评估结果详见论文表4。

更新数据：

使用方式

可通过Huggingface的Transformers库调用，或参考仓库脚本。

提示词格式：

问题：
Weng的保姆时薪是12美元。昨天她照看了50分钟，应得多少报酬？
解答推理：

预期响应：

def solution():
  """Weng的保姆时薪是12美元。昨天她照看了50分钟，应得多少报酬？"""
  时薪 = 12
  工作时长 = 50
  工作小时数 = 工作时长 / 60
  报酬 = 时薪 * 工作小时数
  计算结果 = 报酬
  return 计算结果

引用

若使用本项目的模型、数据或代码，请引用：

@misc{luong2024reft,
      title={ReFT: Reasoning with Reinforced Fine-Tuning}, 
      author={Trung Quoc Luong and Xinbo Zhang and Zhanming Jie and Peng Sun and Xiaoran Jin and Hang Li},
      year={2024},
      eprint={2401.08967},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

适用范围

Code Llama及其衍生模型适用于英语及相关编程语言的商业和研究场景。基础模型Code Llama可适配多种代码生成与理解任务，Python专用版针对Python语言优化，指令调优版更适用于代码助手等安全敏感场景。

限制范围：任何违反法律法规的使用（包括贸易合规）；非英语场景使用；违反Code Llama使用政策及许可协议的行为。

伦理考量与限制

Code Llama作为新兴技术存在应用风险。当前测试仅覆盖英语场景，无法穷尽所有情况。与所有大语言模型类似，其输出可能存在不可预测的准确性或伦理问题。开发者应在部署前进行应用场景特定的安全测试与调优。

详见责任使用指南：https://ai.meta.com/llama/responsible-use-guide