Openelm 3B

由 apple 开发

OpenELM是一组开源高效语言模型，采用分层缩放策略优化参数分配，提升模型准确率。包含270M、450M、1.1B和3B四种参数规模，提供预训练和指令调优版本。

大型语言模型

Transformers

#分层参数分配 #高效语言模型 #零样本学习

下载量 1,436

发布时间 : 4/12/2024

模型介绍

内容详情

替代品

模型简介

开源高效语言模型系列，通过分层参数分配策略实现更优性能，适用于多种自然语言处理任务。

模型特点

分层参数分配

在Transformer各层中智能分配参数，相比传统均匀分配显著提升模型效率

全流程开源

完整公开从数据准备到模型训练、微调和评估的整套框架

多规模选择

提供从2.7亿到30亿参数的不同规模模型，适应多样化应用场景

模型能力

文本生成

零样本学习

指令跟随

语言理解

使用案例

教育

科学问答

基于SciQ等数据集的高准确率科学问题解答

3B模型在SciQ测试集达到92.7%准确率

内容创作

故事生成

根据提示词生成连贯的叙事文本

支持中文提示如'很久很久以前'的故事开头生成

license: apple-amlr license_name: apple-sample-code-license license_link: LICENSE

OpenELM

作者：Sachin Mehta, Mohammad Hossein Sekhavat, Qingqing Cao, Maxwell Horton, Yanzi Jin, Chenfan Sun, Iman Mirzadeh, Mahyar Najibi, Dmitry Belenko, Peter Zatloukal, Mohammad Rastegari

我们推出OpenELM系列模型，这是一组开源高效语言模型。OpenELM采用分层缩放策略，在Transformer模型的每一层中高效分配参数，从而提升准确率。我们使用CoreNet库对OpenELM模型进行了预训练，发布了参数量分别为270M、450M、1.1B和3B的预训练模型及指令调优模型。为促进开放研究，我们完整公开了包括数据准备、训练、微调和评估流程在内的整套框架，同时提供多个预训练检查点和训练日志。

我们的预训练数据集包含RefinedWeb、去重PILE、RedPajama子集和Dolma v1.6子集，总计约1.8万亿token。使用前请仔细阅读相关数据集的许可协议和使用条款。

使用指南

我们提供了示例脚本generate_openelm.py，展示如何通过HuggingFace Hub加载OpenELM模型生成文本。

运行以下命令即可体验模型：

python generate_openelm.py --model apple/OpenELM-3B --hf_access_token [HF_ACCESS_TOKEN] --prompt '很久很久以前' --generate_kwargs repetition_penalty=1.2

获取HuggingFace访问令牌请参考此链接。

可通过generate_kwargs传递额外生成参数。例如使用前瞻token推测生成加速推理：

python generate_openelm.py --model apple/OpenELM-3B --hf_access_token [HF_ACCESS_TOKEN] --prompt '很久很久以前' --generate_kwargs repetition_penalty=1.2 prompt_lookup_num_tokens=10

或通过assistant_model参数使用辅助模型进行模型级联推测生成：

python generate_openelm.py --model apple/OpenELM-3B --hf_access_token [HF_ACCESS_TOKEN] --prompt '很久很久以前' --generate_kwargs repetition_penalty=1.2 --assistant_model [较小模型]

核心结果

零样本学习

模型规模	ARC-c	ARC-e	BoolQ	HellaSwag	PIQA	SciQ	WinoGrande	平均分
OpenELM-270M	26.45	45.08	53.98	46.71	69.75	84.70	53.91	54.37
OpenELM-270M-Instruct	30.55	46.68	48.56	52.07	70.78	84.40	52.72	55.11
OpenELM-450M	27.56	48.06	55.78	53.97	72.31	87.20	58.01	57.56
OpenELM-450M-Instruct	30.38	50.00	60.37	59.34	72.63	88.00	58.96	59.95
OpenELM-1_1B	32.34	55.43	63.58	64.81	75.57	90.60	61.72	63.44
OpenELM-1_1B-Instruct	37.97	52.23	70.00	71.20	75.03	89.30	62.75	65.50
OpenELM-3B	35.58	59.89	67.40	72.44	78.24	92.70	65.51	67.39
OpenELM-3B-Instruct	39.42	61.74	68.17	76.36	79.00	92.50	66.85	69.15

LLM360评估

模型规模	ARC-c	HellaSwag	MMLU	TruthfulQA	WinoGrande	平均分
OpenELM-270M	27.65	47.15	25.72	39.24	53.83	38.72
OpenELM-270M-Instruct	32.51	51.58	26.70	38.72	53.20	40.54
OpenELM-450M	30.20	53.86	26.01	40.18	57.22	41.50
OpenELM-450M-Instruct	33.53	59.31	25.41	40.48	58.33	43.41
OpenELM-1_1B	36.69	65.71	27.05	36.98	63.22	45.93
OpenELM-1_1B-Instruct	41.55	71.83	25.65	45.95	64.72	49.94
OpenELM-3B	42.24	73.28	26.76	34.98	67.25	48.90
OpenELM-3B-Instruct	47.70	76.87	24.80	38.76	67.96	51.22

OpenLLM排行榜

模型规模	ARC-c	CrowS-Pairs	HellaSwag	MMLU	PIQA	RACE	TruthfulQA	WinoGrande	平均分
OpenELM-270M	27.65	66.79	47.15	25.72	69.75	30.91	39.24	53.83	45.13
OpenELM-270M-Instruct	32.51	66.01	51.58	26.70	70.78	33.78	38.72	53.20	46.66
OpenELM-450M	30.20	68.63	53.86	26.01	72.31	33.11	40.18	57.22	47.69
OpenELM-450M-Instruct	33.53	67.44	59.31	25.41	72.63	36.84	40.48	58.33	49.25
OpenELM-1_1B	36.69	71.74	65.71	27.05	75.57	36.46	36.98	63.22	51.68
OpenELM-1_1B-Instruct	41.55	71.02	71.83	25.65	75.03	39.43	45.95	64.72	54.40
OpenELM-3B	42.24	73.29	73.28	26.76	78.24	38.76	34.98	67.25	54.35
OpenELM-3B-Instruct	47.70	72.33	76.87	24.80	79.00	38.47	38.76	67.96	55.73

更多结果与对比请参阅技术报告。

评估流程

环境配置

安装依赖项：

# 安装公开版lm-eval-harness
harness_repo="public-lm-eval-harness"
git clone https://github.com/EleutherAI/lm-evaluation-harness ${harness_repo}
cd ${harness_repo}
# 使用2024-03-15的main分支（提交SHA dc90fec）
git checkout dc90fec
pip install -e .
cd ..

# 使用2024-04-01的main分支（提交SHA 66d6242）
pip install datasets@git+https://github.com/huggingface/datasets.git@66d6242
pip install tokenizers>=0.15.2 transformers>=4.38.2 sentencepiece>=0.2.0

执行评估

# 评估OpenELM-3B
hf_model=apple/OpenELM-3B

# 由于lm-eval-harness默认add_bos_token=False，而OpenELM使用LLaMA分词器需设为True
tokenizer=meta-llama/Llama-2-7b-hf
add_bos_token=True
batch_size=1

mkdir lm_eval_output

# 零样本评估