license: apache-2.0

MoLM

MoLM是一系列基于混合专家（MoE）架构的语言模型集合，参数量级从40亿到80亿不等。本仓库存储的是转换为Hugging Face Transformers格式的MoLM-700M-4B预训练模型，其他模型链接详见文末索引表。

模型使用 加载模型前需安装ModuleFormer工具包。随后可通过以下代码加载模型：

from transformers import AutoTokenizer, AutoModelForCausalLM, AutoConfig, AutoModelForSequenceClassification
from moduleformer import ModuleFormerForCausalLM, ModuleFormerConfig, ModuleFormerForSequenceClassification
AutoConfig.register("moduleformer", ModuleFormerConfig)
AutoModelForCausalLM.register(ModuleFormerConfig, ModuleFormerForCausalLM)
AutoModelForSequenceClassification.register(ModuleFormerConfig, ModuleFormerForSequenceClassification)

tokenizer = AutoTokenizer.from_pretrained('ibm/MoLM-700M-4B')
model = AutoModelForCausalLM.from_pretrained('ibm/MoLM-700M-4B')

模型详情 MoLM-350M-4B是基于MoE架构的语言模型，总参数量40亿但每个输入token仅激活3.5亿参数，计算消耗相当于3.5亿参数的稠密模型。 MoLM-700M-4B总参数量40亿，计算消耗相当于7亿参数的稠密模型。 MoLM-700M-8B总参数量80亿，计算消耗相当于7亿参数的稠密模型。所有模型均在3000亿公开可用token数据上训练完成，采用3.0×10^-4学习率和300万token的全局批次大小。

开发团队 IBM

版本变体 提供4B和8B两种参数量级。其中4B模型有350M和700M两种计算消耗版本。

输入 仅接受文本输入

输出 仅生成文本内容

架构设计 MoLM采用ModuleFormer架构的自回归语言模型。每层注意力模块含16个专家单元，MLP层含32个专家单元。推理时：MoLM-350M-4B和MoLM-700M-8B每token激活2个模块，MoLM-700M-4B激活4个模块。MoLM-350M-4B与MoLM-700M-4B含24个模块块，MoLM-700M-8B含48个模块块。

当前状态 本模型为静态版本，基于离线数据集训练。未来将根据社区反馈持续优化模型安全性并发布调优版本。

研究论文 "ModuleFormer: 混合专家中涌现的模块化架构"

训练数据

所有MoLM模型均在3000亿token的公开数据上预训练完成。

评估结果

本节展示MoLM在标准学术基准测试中的表现，评估工具采用LM评估工具包。

伦理考量与局限性

MoLM作为新兴技术存在应用风险。当前测试仅限英语场景，无法覆盖所有可能性。与其他大语言模型类似，MoLM可能产生不准确、偏见或其他不当输出。开发者应在实际应用前进行针对性安全测试与调优。

引用

若使用本仓库数据或代码，请引用以下论文：

@article{shen2023moduleformer,
  title={ModuleFormer: 基于非筛选数据的模块化大语言模型学习},
  author={沈宜康 and 张哲宇 and 曹天佑 and 谭骁 and 陈振方 and 甘创},
  journal={arXiv预印本 arXiv:2306.04640},
  year={2023}
}

MoLM模型索引