开发团队: BigScience (官网)

• 所有贡献者均为志愿者或已获得雇主授权 (具体参与者名单将后续补充)

模型类型: 基于Transformer架构的语言模型

版本: 1.0.0

支持语言: 多语言；详见训练数据

许可证: RAIL许可证v1.0 (链接)

预计发布日期: 2022年7月11日

问题咨询: bigscience-contact@googlegroups.com

引用格式: BigScience，《BigScience开放科学多语言(BLOOM)语言模型》。国际协作项目，2021年5月-2022年5月

资助方:

• 法国政府

• Hugging Face (官网)

• 贡献机构 (具体机构名单将后续补充)

完整训练复现细节请参见BLOOM训练说明文档

模型架构: 基于Megatron-LM GPT2改进 (论文, BLOOM Megatron代码):

• 仅解码器架构

• 词嵌入层应用层归一化(StableEmbedding；参见代码, 论文)

• ALiBI位置编码 (论文)，配合GeLU激活函数

• 1,065,314,304参数:

  • 385,351,680嵌入参数

  • 24层，16个注意力头

  • 隐藏层维度1536

  • 使用2048token的序列长度 (参见BLOOM分词器, 分词器说明)

目标函数: 均值归约的交叉熵损失 (API文档)

计算基础设施: 法国政府提供的Jean Zay公共超算中心 (公告)

• 硬件: 384张A100 80GB GPU(48个节点):

  • 备用32张A100 80GB GPU(4个节点)

  • 每节点8张GPU，通过NVLink 4互联，4条OmniPath链路

  • CPU: AMD

  • 每节点CPU内存: 512GB

  • 每节点GPU内存: 640GB

  • 节点间连接: Omni-Path架构(OPA)

  • NCCL通信网络: 完全独立的子网

  • 磁盘IO网络: 与其他类型节点共享的网络

• 软件:

  • Megatron-DeepSpeed (GitHub链接)

  • DeepSpeed (GitHub链接)

  • PyTorch (pytorch-1.11 w/ CUDA-11.5; GitHub链接)

  • apex (GitHub链接)

训练过程

训练日志: Tensorboard链接

• 训练轮次: 1

• 时间跨度:

  • 开始: 2022年3月11日 PST上午11:42

  • 结束: 2022年7月5日

• 训练成本估算: 相当于云计算费用200-500万美元(含前期实验与其他规模模型)

• 训练服务器位置: 法国法兰西岛大区

分词处理

BLOOM分词器(链接)采用基于学习的子词分词方案，训练时使用:

• 字节级BPE(Byte Pair Encoding)算法

• 简单的预分词规则，无标准化处理

• 词表大小250,680

基于语料库的初步版本子集，采用按语言alpha加权的方式进行训练

训练使用的超算Jean Zay (官网)主要使用核能供电，其产生的余热被回收用于校园供暖。

碳排放估算: (训练完成后补充)

电力消耗估算: (训练完成后补充)

预期用途

本模型的创建旨在促进大型语言模型(LLM)的公共研究。LLM预期用于文本生成或作为可针对特定任务微调的预训练基础模型。以下用例并非全部可能场景。

直接应用

• 文本生成

• 探索语言模型生成文本的特征

  • 示例：完形填空测试、反事实生成、重构框架生成

下游应用

• 利用语言模型的任务包括：信息抽取、问答系统、文本摘要

滥用与超范围使用

本部分说明用户不应采取的行为。

详见BLOOM许可证附件A中的详细使用限制。以下列举部分典型问题场景，但非全部情况。

超范围使用

将模型用于高风险场景属于超范围使用。该模型并非为关键决策设计，也不应用于可能对个人生计或福祉产生实质影响的场景。模型输出的内容可能看似真实但实际并不正确。

超范围使用包括:

• 生物医学、政治法律或金融领域应用

• 用于个人评估或评分，如就业、教育或信贷场景

• 应用于关键自动决策、生成事实性内容、创建可靠摘要或必须正确的预测生成

滥用行为

出于伤害目的、违反人权或其他恶意活动使用模型均属滥用。包括:

• 垃圾内容生成

• 虚假信息与影响操作

• 诋毁与诽谤

• 骚扰与虐待

• 欺骗行为

• 未经同意的身份模仿

• 未经同意的监控

• 未按RAIL许可证使用限制要求标注模型生成内容

目标用户

直接用户

• 公众

• 研究人员

• 学生

• 教育工作者

• 工程师/开发者

• 非商业实体

• 社区倡导者，包括人权与公民权利组织

间接用户

• 使用直接用户所创建衍生品的用户，如使用符合预期用途的软件

• 使用许可证中定义的模型衍生品的用户

其他受影响方

• 被LLM提及的个人与群体

• 接触LLM输出内容或基于LLM所做决策的个人与群体

• 作品被纳入LLM训练数据的原创者

各数据集详情参见单独的数据卡片。

训练数据包含:

• 45种自然语言

• 12种编程语言

• 总计1.5TB预处理文本，转化为3500亿唯一token(详见分词器部分)

语言分布

饼图展示训练数据中的语言分布。

下表进一步展示尼日尔-刚果语系和印度语系在训练数据中的分布。

下表展示编程语言分布。

模型可能:

• 过度代表某些观点而低估其他观点

• 包含刻板印象

• 包含个人信息

• 生成:

  • 仇恨、侮辱或暴力内容

  • 歧视性或偏见性内容

  • 可能不适合所有场景的内容，包括性相关描述

• 产生错误，包括将不正确信息呈现为事实

• 生成无关或重复内容

评估指标

说明不同性能衡量方式及其选用原因。

包括:

以及针对特定任务的多项指标。(更多评估指标将在评估方案完成后补充)

影响因素

列举可能造成模型行为差异的主要方面。

• 语言，如英语或约鲁巴语

• 领域，如新闻或故事

• 人口统计特征，如性别或国籍

评估结果

基于影响因素和评估指标得出。

训练期间评估:

截至2022年5月25日 PST 15:00:

• 训练损失: 2.7

• 验证损失: 3.1

• 困惑度: 21.9

(更多评估分数将在模型训练完成后补充)

• 应让间接用户知晓所接触内容由LLM生成

• 用户应了解风险与限制，并根据需要添加适龄提示或拦截界面

• 基于本LLM的预训练模型应更新模型卡片

• 模型使用者应建立受影响方的反馈机制，如提供意见反馈邮箱