license: apple-amlr license_name: apple-sample-code-license license_link: LICENSE

OpenELM

作者：Sachin Mehta, Mohammad Hossein Sekhavat, Qingqing Cao, Maxwell Horton, Yanzi Jin, Chenfan Sun, Iman Mirzadeh, Mahyar Najibi, Dmitry Belenko, Peter Zatloukal, Mohammad Rastegari

我们推出OpenELM系列模型，这是一组开源高效语言模型。OpenELM采用分层参数分配策略，在Transformer模型的每一层中智能分配参数，从而提升模型精度。我们使用CoreNet库对OpenELM进行了预训练，发布了包含2.7亿、4.5亿、11亿和30亿参数的预训练模型及指令调优版本。我们开源了完整框架，涵盖数据准备、训练、微调和评估流程，同时提供多个预训练检查点和训练日志，以促进开放研究。

预训练数据集包含RefinedWeb、去重PILE、RedPajama子集和Dolma v1.6子集，总计约1.8万亿token。使用前请查阅各数据集的许可协议和使用条款。

使用指南

我们提供了示例脚本generate_openelm.py，展示如何通过HuggingFace Hub加载OpenELM模型并生成文本。

运行以下命令体验模型：

python generate_openelm.py --model apple/OpenELM-1_1B-Instruct --hf_access_token [HF_ACCESS_TOKEN] --prompt '从前有座山' --generate_kwargs repetition_penalty=1.2

获取HuggingFace访问令牌请参考此链接。

可通过generate_kwargs传递额外生成参数。例如使用前瞻token推测生成加速推理：

python generate_openelm.py --model apple/OpenELM-1_1B-Instruct --hf_access_token [HF_ACCESS_TOKEN] --prompt '从前有座山' --generate_kwargs repetition_penalty=1.2 prompt_lookup_num_tokens=10

或通过assistant_model参数使用辅助模型进行协同生成：

python generate_openelm.py --model apple/OpenELM-1_1B-Instruct --hf_access_token [HF_ACCESS_TOKEN] --prompt '从前有座山' --generate_kwargs repetition_penalty=1.2 --assistant_model [小模型路径]

核心结果

零样本学习

LLM360评估

OpenLLM排行榜

更多结果对比详见技术报告。

评估流程

环境配置

安装依赖项：

# 安装公开lm-eval评测框架
harness_repo="public-lm-eval-harness"
git clone https://github.com/EleutherAI/lm-evaluation-harness ${harness_repo}
cd ${harness_repo}
# 使用2024-03-15的main分支（提交SHA dc90fec）
git checkout dc90fec
pip install -e .
cd ..

# 安装2024-04-01的main分支（提交SHA 66d6242）
pip install datasets@git+https://github.com/huggingface/datasets.git@66d6242
pip install tokenizers>=0.15.2 transformers>=4.38.2 sentencepiece>=0.2.0

执行评估

# 评估OpenELM-1_1B-Instruct
hf_model=apple/OpenELM-1_1B-Instruct
tokenizer=meta-llama/Llama-2-7b-hf
add_bos_token=True
batch_size=1

mkdir lm_eval_output

# 零样本评估
shot=0
task=arc_challenge,arc_easy,boolq,hellaswag,piqa,race,winogrande,sciq,truthfulqa_mc2
lm_eval --model hf \
        --model_args pretrained=${hf_model},trust_remote_code=True,add_bos_token=${add_bos_token},tokenizer=${tokenizer} \
        --tasks ${task} \
        --device cuda:0 \
        --num_fewshot ${shot} \
        --output_path ./lm_eval_output/${hf_model//\//_}_${task//,/_}-${shot}shot \
        --batch_size ${batch_size} 2>&1 | tee ./lm_eval_output/eval-${hf_model//\//_}_${task//,/_}-${shot}shot.log

# 5样本评估
shot=5
task=mmlu,winogrande
lm_eval --model hf \
        --model_args pretrained=${hf_model},trust_remote_code=True,add_bos_token=${add_bos_token},tokenizer=${tokenizer} \
        --tasks ${task} \
        --device cuda:0 \
        --num_fewshot ${shot} \
        --output_path ./lm_eval_output/${hf_model//\//_}_${task//,/_}-${shot}shot \
        --batch_size ${batch_size} 2>&1 | tee ./lm_eval_output/eval-${hf_model//\//_}_${task//,/_}-${shot}shot.log

# 25样本评估
shot=25
task=arc_challenge,crows_pairs_english
lm_eval --model hf \
        --model_args pretrained=${hf_model},trust_remote_code=True,add_bos_token=${add_bos_token},tokenizer=${tokenizer} \
        --tasks ${task} \
        --device cuda:0 \
        --num_fewshot ${shot} \
        --output_path ./lm_eval_output/${hf_model//\//_}_${task//,/_}-${shot}shot \
        --batch_size ${batch_size} 2>&1 | tee ./lm_eval_output/eval-${hf_model//\//_}_${task//,/_}-${shot}shot.log

# 10样本评估
shot=10
task=hellaswag
lm_eval --model hf \
        --model_args pretrained=${hf_model},trust_remote_code=True,add_bos_token=${add_bos_token},tokenizer=${tokenizer} \
        --tasks ${task} \
        --device cuda:0 \
        --num_fewshot ${shot} \
        --output_path ./lm_eval_output/${hf_model//\//_}_${task//,/_}-${shot}shot \
        --batch_size ${batch_size} 2>&1 | tee ./lm_eval_output/eval-${hf_model//\//_}_${task//,/_}-${shot}shot.log

风险提示

OpenELM模型的发布旨在通过提供先进语言模型推动开放研究。这些基于公开数据集训练的模型未设置安全防护机制，可能产生不准确、有害、偏见或不当内容。使用者需根据自身需求进行全面的安全测试并部署过滤机制。

引用

如果我们的工作对您有帮助，请引用：

@article{mehtaOpenELMEfficientLanguage2024,
	title = {{OpenELM}: 开放训练与推理框架下的高效语言模型家族},
	shorttitle = {{OpenELM}},
	url = {https://arxiv.org/abs/2404.14619v1},
	language = {zh},
	urldate = {2024-04-24},
	journal = {arXiv.org},
	author = {Mehta, Sachin and Sekhavat, Mohammad Hossein and Cao, Qingqing and Horton, Maxwell and Jin, Yanzi and Sun, Chenfan and Mirzadeh, Iman and Najibi, Mahyar and Belenko, Dmitry and Zatloukal, Peter and Rastegari, Mohammad},
	month = 4,
	year = {2024},
}

@inproceedings{mehta2022cvnets, 
     author = {Mehta, Sachin and Abdolhosseini, Farzad and Rastegari, Mohammad}, 
     title = {CVNets: 高性能计算机视觉库}, 
     year = {2022}, 
     booktitle = {第30届ACM多媒体国际会议论文集}, 
     series = {MM '22} 
}