开发团队： BigScience（官网）

• 所有贡献者均为志愿者或已获得雇主同意。*（具体参与者名单后续公布。）

模型类型： 基于Transformer的语言模型

版本： 1.0.0

支持语言： 多种；详见训练数据

许可证： RAIL许可证v1.0（链接）

预计发布日期： 2022年7月11日，星期一

问题反馈： bigscience-contact@googlegroups.com

引用格式： BigScience，《BigScience开放科学多语言（BLOOM）语言模型》。国际项目，2021年5月-2022年5月

资助方：

• 法国政府
• Hugging Face（官网）
• 贡献者所属机构（具体名单后续公布）

完整训练复现细节请参见BLOOM训练说明。

模型架构： 基于Megatron-LM GPT2改进（参见论文、BLOOM Megatron代码）：

• 仅解码器架构
• 词嵌入层应用层归一化（StableEmbedding；参见代码、论文）
• ALiBI位置编码（参见论文），使用GeLU激活函数
• 7,069,016,064参数：
  • 1,027,604,480词嵌入参数
  • 30层，32个注意力头
  • 隐藏层维度4096
  • 使用2048个token的序列长度（参见BLOOM分词器、分词器说明）

目标函数： 平均交叉熵损失（参见API文档）。

计算基础设施： 法国政府提供的Jean Zay公共超级计算机（参见公告）。

• 硬件：384张A100 80GB GPU（48个节点）：

  • 备用32张A100 80GB GPU（4个节点）
  • 每节点8张GPU，通过NVLink 4互联，4条OmniPath链路
  • CPU：AMD
  • 每节点CPU内存：512GB
  • 每节点GPU内存：640GB
  • 节点间连接：Omni-Path架构（OPA）
  • NCCL通信网络：完全专用子网
  • 磁盘IO网络：与其他类型节点共享网络

• 软件：

  • Megatron-DeepSpeed（GitHub链接）
  • DeepSpeed（GitHub链接）
  • PyTorch（pytorch-1.11 w/ CUDA-11.5；参见GitHub链接）
  • apex（GitHub链接）

训练

训练日志：Tensorboard链接

• 训练轮次：1（当前目标）
• 时间：
  • 开始：2022年3月11日11:42（PST）
  • 结束：2022年7月5日
• 训练成本估算：相当于云计算的200-500万美元（含前期实验）
• 服务器位置：法国法兰西岛大区

分词处理

BLOOM分词器（链接）是基于以下内容训练的子词分词器：

• 字节级BPE算法
• 简单预分词规则，无标准化
• 词汇量250,680

使用按语言alpha加权的语料库子集进行训练。

训练使用的超级计算机Jean Zay（官网）主要使用核能，产生的热量被回收用于校园供暖。

碳排放估算：（训练完成后公布）
电力消耗估算：（训练完成后公布）

预期用途

本模型旨在促进大型语言模型（LLM）的公共研究，可用于文本生成或作为特定任务微调的预训练基模型。以下用例非穷尽列举。

直接用途

• 文本生成
• 探索语言模型生成文本的特征（如完形填空测试、反事实生成、重构生成）

下游用途

• 利用语言模型的任务：信息抽取、问答、摘要

滥用与超范围用途

本节说明用户不应采取的行为。

详见BLOOM许可证附件A的使用限制条款。以下为非穷尽列举的部分可预见问题用例。

超范围用途

在高风险场景中使用本模型属于超范围。该模型未设计用于关键决策或对个人生计/福祉有实质影响的用途。模型输出可能看似真实但包含错误信息。

超范围用途包括：

• 生物医学、政治法律或金融领域
• 个人评估（如就业、教育、信贷）
• 关键自动决策、事实内容生成、可靠摘要或必须正确的预测

滥用行为

故意将模型用于危害、侵犯人权或其他恶意活动属于滥用，包括：

• 垃圾内容生成
• 虚假信息与舆论操纵
• 诽谤中伤
• 骚扰虐待
• 欺骗行为
• 未经同意的模仿
• 未经同意的监控
• 未标明模型生成的内容（违反RAIL许可证使用限制）

目标用户

直接用户

• 公众
• 研究人员
• 学生
• 教育工作者
• 工程师/开发者
• 非商业实体
• 社区倡导者（包括人权组织）

间接用户

• 直接用户创建的衍生品使用者（如使用含预期用途的软件）
• 许可证所述模型衍生品的使用者

其他受影响方

• 被LLM提及的个人/群体
• 接触LLM输出或基于其决策的个人/群体
• 作品被纳入LLM的个人/群体

各数据集详情参见独立数据卡片。

训练数据包含：

• 45种自然语言
• 12种编程语言
• 1.5TB预处理文本，转化为3500亿唯一token（详见分词器说明）

语言分布

饼图显示训练数据的语言分布：

下表展示尼日尔-刚果语系和印度语系语言的详细分布：