AIbase

O

Openelm 450M

由 apple 开发
OpenELM是一组开放的高效语言模型，采用分层缩放策略优化参数分配，提升模型精度。提供2.7亿至30亿参数的预训练及指令调优版本。
大型语言模型
Transformers
#分层参数分配#高效语言模型#多规模参数
下载量 857
发布时间 : 4/12/2024
模型介绍
内容详情
替代品

模型简介

OpenELM系列模型专注于通过高效的参数分配策略提升语言模型性能，适用于多种自然语言处理任务。

模型特点

分层缩放策略
在Transformer模型的每一层中高效分配参数，优化模型性能
多规模选择
提供从2.7亿到30亿参数的不同规模模型，适应不同计算需求
完整开源框架
包含数据准备、训练、微调和评估的完整流程代码
透明研究支持
提供多个预训练检查点和训练日志，促进开放研究

模型能力

文本生成
语言理解
指令跟随

使用案例

自然语言处理
文本生成
利用预训练模型生成连贯的文本内容
指令跟随
使用指令调优模型执行特定任务