OpenELM是由苹果公司推出的高效语言模型系列，采用分层缩放策略优化参数分配，提供270M至3B不同规模的预训练及指令调优模型。

采用闪存线性注意力（flash-linear attention）格式的RWKV-7模型，支持英语文本生成任务。

OpenELM是一组开源高效语言模型，采用分层参数分配策略提升模型精度，包含2.7亿至30亿参数的预训练及指令调优版本。

OpenELM是一组开源高效语言模型，采用分层缩放策略在Transformer模型的每一层中高效分配参数，从而提升模型精度。

OpenELM是一组开源高效语言模型，采用分层缩放策略优化参数分配，包含2.7亿至30亿参数的预训练及指令调优版本。

OpenELM是一组开源高效语言模型，采用分层缩放策略优化参数分配，提升模型准确率。

OpenELM是一组开放的高效语言模型，采用分层缩放策略优化参数分配，提升模型精度。

OpenELM是一组开源高效语言模型，采用分层缩放策略在Transformer模型的每一层中高效分配参数，提升准确性。

基于RetNet架构与Transformer混合的线性计算成本推理模型，通过跨架构迁移学习实现

该模型是在wikitext数据集上对TinyBERT_L-4_H-312_v2进行微调的版本，主要用于文本相关任务。