许可证：apache-2.0
数据集：

• meta-math/MetaMathQA

论文详见：https://arxiv.org/abs/2309.12284

项目主页：
https://meta-math.github.io/

注意

所有MetaMathQA数据均基于GSM8K和MATH的训练集进行增强生成。
增强数据均不包含测试集内容。

您可通过检查meta-math/MetaMathQA中的original_question字段验证，每条数据均源自GSM8K或MATH训练集。

模型详情

MetaMath-Llemma-7B是在MetaMathQA数据集上完整微调的模型，基于强大的Llemma-7B基础模型。将基础模型从llama-2-7B替换为Llemma-7B后，MATH性能从19.8显著提升至30.0。

安装

pip install transformers==4.35.0  
pip install torch==2.0.1  
pip install sentencepiece==0.1.99  
pip install tokenizers==0.13.3  
pip install accelerate==0.21.0  
pip install bitsandbytes==0.40.0  
pip install vllm  
pip install fraction  
pip install protobuf  

使用方式

提示模板：

'''
"以下是一个描述任务的指令。"
"请编写一个恰当完成该请求的回复。\n\n"
"### 指令:\n{指令内容}\n\n### 回复: 让我们逐步思考。"
'''

使用时请将{指令内容}替换为您的具体问题

实验结果

引用

@article{yu2023metamath,  
  title={MetaMath: 为大语言模型自举数学问题},  
  author={于龙辉等},  
  journal={arXiv预印本 arXiv:2309.12284},  
  year={2023}  
}  

@article{azerbayev2023llemma,  
  title={Llemma: 面向数学的开放语言模型},  
  author={Azerbayev等},  
  journal={arXiv预印本 arXiv:2310.10631},  
  year={2023}  
}