许可协议：apache-2.0
数据集来源：

• meta-math/MetaMathQA

论文详见：https://arxiv.org/abs/2309.12284

项目主页： https://meta-math.github.io/

重要说明

所有MetaMathQA数据均基于GSM8K和MATH的训练集进行增强生成。
所有增强数据均不包含测试集内容。

您可通过检查meta-math/MetaMathQA中的original_question字段验证，每条数据均源自GSM8K或MATH训练集。

模型详情

MetaMath-Mistral-7B是基于Mistral-7B模型在MetaMathQA数据集上完整微调的版本。实验表明，使用MetaMathQA数据集并将基础模型从llama-2-7B替换为Mistral-7b后，GSM8K性能从66.5显著提升至77.7。

针对Mistral-7B的微调，建议采用较小学习率（通常为LlaMa-2-7B学习率的1/5至1/10）并保持其他训练参数不变。更多训练细节和脚本参见：https://github.com/meta-math/MetaMath

安装指南

pip install transformers==4.35.0
pip install torch==2.0.1
pip install sentencepiece==0.1.99
pip install tokenizers==0.13.3
pip install accelerate==0.21.0
pip install bitsandbytes==0.40.0
pip install vllm
pip install fraction
pip install protobuf

使用说明

提示词模板：

'''

"以下是一条描述任务的指令。" "请编写恰当完成该请求的回复。\n\n" "### 指令：\n{指令内容}\n\n### 回复：让我们逐步思考。"

'''

使用时请将{指令内容}替换为您的具体问题

另推荐关注Arithmo-Mistral-7B项目（https://huggingface.co/akjindal53244/Arithmo-Mistral-7B），该工作融合了我们的MetaMathQA数据集与MathInstruct数据集进行训练。我们也将尝试联合训练MetaMathQA与MathInstruct数据集，并公开所有结果和训练细节。

实验结果

引用文献

@article{yu2023metamath,
  title={MetaMath：为大型语言模型自举数学问题},
  author={余龙辉，蒋伟森，石涵，余金成，刘正英，张宇，郭天佑，李振国，Adrian Weller，刘伟阳},
  journal={arXiv预印本 arXiv:2309.12284},
  year={2023}
}

@article{jiang2023mistral,
  title={Mistral 7B},
  author={蒋Albert Q，Alexandre Sablayrolles，Arthur Mensch，Chris Bamford，Devendra Singh Chaplot，Diego de las Casas，Florian Bressand，Gianna Lengyel，Guillaume Lample，Lucile Saulnier等},
  journal={arXiv预印本 arXiv:2310.06825},
  year={2023}
}