Llemma 34b

由 EleutherAI 开发

Llemma 34B是一个专注于数学领域的语言模型，基于Code Llama 34B的权重进行初始化，并在Proof-Pile-2数据集上训练了500亿个token。

大型语言模型

Transformers

英语

#数学推理 #定理证明 #思维链推理

下载量 60

发布时间 : 9/27/2023

模型介绍

内容详情

替代品

模型简介

Llemma是一个开放的数学语言模型，专注于数学推理和计算任务，在思维链数学推理以及使用Python和形式化定理证明器等数学计算工具方面表现突出。

模型特点

数学专业能力

专门针对数学领域进行优化，在数学推理和计算任务上表现优异

思维链推理

支持复杂的思维链推理过程，能够逐步解决数学问题

工具集成

能够使用Python和形式化定理证明器等数学计算工具

开放模型

基于开放许可发布，可供研究和商业使用

模型能力

数学问题求解

定理证明

数学推理

思维链推理

Python代码生成

形式化证明

使用案例

教育

数学问题解答

帮助学生理解和解决各类数学问题

在GSM8k等数学测试集上表现优异

数学辅导

提供逐步的数学问题解决指导

通过思维链推理展示解题过程

研究

数学定理证明

辅助数学研究者进行定理证明

能够使用形式化定理证明器

数学计算

执行复杂的数学计算任务

支持Python等计算工具

许可协议: llama2
数据集:

EleutherAI/proof-pile-2
open-web-math/open-web-math
语言:
英语
标签:
数学
推理

论文 | 模型 | 数据 | 代码 | 博客 | 示例浏览器

作者:
Zhangir Azerbayev, Hailey Schoelkopf, Keiran Paster, Marco Dos Santos, Stephen McAleer, Albert Q. Jiang, Jia Deng, Stella Biderman, Sean Welleck

Llemma 34B 是一个专注于数学领域的语言模型。该模型基于Code Llama 34B的权重进行初始化，并在Proof-Pile-2数据集上训练了500亿个token。

本模型还提供70亿参数版本: Llemma 7B。

评估表现

Llemma模型在思维链数学推理以及使用Python和形式化定理证明器等数学计算工具方面表现尤为突出。

思维链数学

在思维链数学任务中，Llemma模型超越了Llama-2和Code Llama，在控制模型规模的情况下，其表现也优于Minerva。

模型	规模	GSM8k	OCW	MMLU-STEM	SAT	MATH
Llama 2	7B	11.8%	3.7%	29.9%	25%	3.2%
Code Llama	7B	10.5%	4.4%	25.1%	9.4%	4.5%
LLEMMA	7B	36.4%	7.7%	37.7%	53.1%	18.0%
Minerva	8B	16.2%	7.7%	35.6%	-	14.1%
------------	------	--------	-------	-----------	-------	-------
Code Llama	34B	29.6%	7.0%	40.5%	40.6%	12.2%
LLEMMA	34B	51.5%	11.8%	49.0%	71.9%	25.0%
------------	------	--------	-------	-----------	-------	-------
Minerva	62B	52.4%	12.0%	53.9%	-	27.6%
Minerva	540B	58.8%	17.6%	63.9%	-	33.6%

通过多数投票法可进一步提升性能:

模型	规模	GSM8k maj@100	OCW maj@100	MMLU-STEM maj@16	SAT maj@16	MATH maj@256
LLEMMA	7B	54.0%	14.3%	49.9%	78.1%	33.5%
Minerva	8B	28.4%	12.5%	43.4%	-	25.4%
---------	------	-------------	-----------	-----------------	-----------	------------
LLEMMA	34B	69.3%	18.4%	59.7%	81.3%	43.1%
---------	------	-------------	-----------	-----------------	-----------	------------
Minerva	62B	68.5%	23.5%	63.5%	-	43.4%
Minerva	540B	78.5%	30.8%	75.0%	-	50.3%

工具使用与定理证明

除思维链推理外，Llemma在计算数学任务中展现出强大能力。关于工具使用和形式化定理证明的评估，请参阅我们的论文。

引用

@misc{azerbayev2023llemma,
      title={Llemma: 一个开放的数学语言模型}, 
      author={Zhangir Azerbayev and Hailey Schoelkopf and Keiran Paster and Marco Dos Santos and Stephen McAleer and Albert Q. Jiang and Jia Deng and Stella Biderman and Sean Welleck},
      year={2023},
      eprint={2310.10631},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}