Llemma 7b

由 EleutherAI 开发

Llemma 34B 是一款专注于数学领域的语言模型，基于Code Llama 34B权重初始化，并在Proof-Pile-2数据集上训练。

大型语言模型

Transformers

英语

#数学推理 #思维链优化 #定理证明

下载量 3,668

发布时间 : 9/12/2023

模型介绍

内容详情

替代品

模型简介

Llemma系列模型在思维链数学推理以及使用Python和形式化定理证明器等数学计算工具方面表现尤为突出。

模型特点

数学推理能力

在思维链数学任务中全面超越Llama-2和Code Llama，性能优于Minerva。

工具使用能力

支持使用Python和形式化定理证明器等数学计算工具。

多数投票策略提升性能

通过多数投票策略可进一步提升模型在数学任务中的表现。

模型能力

数学问题求解

定理证明

数学推理

工具使用（Python、定理证明器）

使用案例

教育

数学问题解答

解答各类数学问题，包括代数、几何、微积分等。

在GSM8k数据集上达到51.5%的准确率。

数学竞赛题目求解

解决数学竞赛中的复杂题目。

在MATH数据集上达到25.0%的准确率。

研究

定理证明

辅助数学研究者进行定理证明。

详见论文中的定理证明评估部分。

许可协议：llama2
数据集：

EleutherAI/proof-pile-2
open-web-math/open-web-math
语言：
英语
标签：
数学
推理

ArXiv论文 | 模型下载 | 数据 | 代码 | 博客 | 示例浏览器

核心团队
Zhangir Azerbayev、Hailey Schoelkopf、Keiran Paster、Marco Dos Santos、Stephen McAleer、Albert Q. Jiang、Jia Deng、Stella Biderman、Sean Welleck

Llemma 7B 是一款专注于数学领域的语言模型。该模型基于Code Llama 7B权重初始化，并在Proof-Pile-2数据集上训练了2000亿个token。

本系列还提供340亿参数版本：Llemma 34B。

性能评估

Llemma系列模型在思维链数学推理以及使用Python和形式化定理证明器等数学计算工具方面表现尤为突出。

思维链数学能力

在思维链数学任务中，Llemma模型全面超越Llama-2和Code Llama；在同参数规模对比中，性能优于Minerva。

模型	参数量	GSM8k	OCW	MMLU-STEM	SAT	MATH
Llama 2	7B	11.8%	3.7%	29.9%	25%	3.2%
Code Llama	7B	10.5%	4.4%	25.1%	9.4%	4.5%
LLEMMA	7B	36.4%	7.7%	37.7%	53.1%	18.0%
Minerva	8B	16.2%	7.7%	35.6%	-	14.1%
------------	--------	--------	-------	-----------	-------	-------
Code Llama	34B	29.6%	7.0%	40.5%	40.6%	12.2%
LLEMMA	34B	51.5%	11.8%	49.0%	71.9%	25.0%
------------	--------	--------	-------	-----------	-------	-------
Minerva	62B	52.4%	12.0%	53.9%	-	27.6%
Minerva	540B	58.8%	17.6%	63.9%	-	33.6%

通过多数投票策略可进一步提升性能：

模型	参数量	GSM8k maj@100	OCW maj@100	MMLU-STEM maj@16	SAT maj@16	MATH maj@256
LLEMMA	7B	54.0%	14.3%	49.9%	78.1%	33.5%
Minerva	8B	28.4%	12.5%	43.4%	-	25.4%
---------	--------	--------------	------------	-----------------	-----------	-------------
LLEMMA	34B	69.3%	18.4%	59.7%	81.3%	43.1%
---------	--------	--------------	------------	-----------------	-----------	-------------
Minerva	62B	68.5%	23.5%	63.5%	-	43.4%
Minerva	540B	78.5%	30.8%	75.0%	-	50.3%

工具使用与定理证明

除思维链推理外，Llemma在计算数学任务中展现出强大能力。关于工具使用和形式化定理证明的评估，详见我们的论文。

引用格式

@misc{azerbayev2023llemma,  
      title={Llemma: 一个开放的数学语言模型},  
      author={Zhangir Azerbayev and Hailey Schoelkopf and Keiran Paster and Marco Dos Santos and Stephen McAleer and Albert Q. Jiang and Jia Deng and Stella Biderman and Sean Welleck},  
      year={2023},  
      eprint={2310.10631},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL}  
}