基于Math-Shepherd逐步强化学习的Mistral-7b-MetaMATH模型

基础模型：mistral-7b-sft

偏好奖励模型：math-shepherd-mistral-7b-prm

强化训练集：MetaMATH题库[1]

单次通过率：

• GSM8K：84.1
• MATH：33.0

输入格式：仅含数学问题，无需系统提示，例如：

珍妮特的鸭子每天产16个蛋。她每天早上吃3个当早餐，每天用4个给朋友烤松饼。剩下的以每个2美元的价格在农贸市场出售。她每天在农贸市场赚多少钱？

输出格式：带特殊步骤标记ки的逐步解答，例如：

步骤1：珍妮特的鸭子每天产16个蛋。ки\n步骤2：她每天早餐吃3个，剩余16-3=13个蛋。ки\n步骤3：她每天用4个蛋烤松饼，剩余13-4=9个蛋。ки\n步骤4：剩余蛋以每个2美元出售，每天获利9*2=18美元。最终答案是：18ки

[1]《MetaMath：为大型语言模型自生成数学问题》