开发团队: BigScience (官网)

• 所有贡献者均为志愿者或已获得雇主授权 (参与者详细名单将后续补充)

模型类型: 基于Transformer架构的语言模型

版本: 1.0.0

支持语言: 多语种；详见训练数据

许可证: RAIL许可证v1.0 (链接)

预计发布日期: 2022年7月11日(周一)

问题咨询: bigscience-contact@googlegroups.com

引用格式: BigScience，《BigScience开放科学多语言(BLOOM)语言模型》。国际协作项目，2021年5月-2022年5月

资助方:

• 法国政府

• Hugging Face (官网)

• 贡献机构 (机构名单将后续补充)

完整训练复现方法请参见BLOOM训练说明文档。

模型架构: 基于Megatron-LM GPT2改进 (论文, BLOOM Megatron代码):

• 仅解码器架构

• 词嵌入层应用层归一化(StableEmbedding；参见代码, 论文)

• ALiBI位置编码 (论文)，使用GeLU激活函数

• 3.5亿参数:

  • 24层，16个注意力头

  • 隐藏层维度1024

  • 使用2048个token的序列长度 (参见BLOOM分词器, 分词器说明)

目标函数: 均值缩减的交叉熵 (参见API文档)。

计算基础设施: 法国政府提供的Jean Zay公共超级计算机 (参见公告)。

• 硬件: 384张A100 80GB GPU(48个节点):

  • 备用32张A100 80GB GPU(4个节点)

  • 每节点8张GPU，使用NVLink 4互联，4条OmniPath链路

  • CPU: AMD

  • 每节点CPU内存: 512GB

  • 每节点GPU内存: 640GB

  • 节点间连接: Omni-Path架构(OPA)

  • NCCL通信网络: 完全专用子网

  • 磁盘IO网络: 与其他类型节点共享网络

• 软件:

  • Megatron-DeepSpeed (GitHub链接)

  • DeepSpeed (GitHub链接)

  • PyTorch (pytorch-1.11 w/ CUDA-11.5; 参见GitHub链接)

  • apex (GitHub链接)

训练过程

进行中。

当前训练日志: Tensorboard链接

• 检查点大小:

  • Bf16权重: 329GB

  • 含优化器状态的完整检查点: 2.3TB

• 训练吞吐量: 约每GPU每秒150 TFLOP

• 训练轮次: 1 (当前目标)

• 时间线:

  • 开始时间: 2022年3月11日11:42 PST

  • 预计结束: 2022年7月5日

• 训练成本估算: 相当于云计算费用200-500万美元(含前期实验)

• 训练服务器位置: 法国法兰西岛大区

分词处理

BLOOM分词器(链接)是基于以下内容训练的子词分词器:

• 字节级Byte Pair Encoding(BPE)算法

• 简单的前分词规则，无标准化处理

• 词表大小250,680

使用语料库初版子集按语言alpha加权进行训练。

训练使用的超级计算机Jean Zay(官网)主要使用核能，其产生的热量被回收用于校园供暖。

碳排放估算: (训练完成后补充)

电力消耗估算: (训练完成后补充)

预期用途

本模型旨在促进大型语言模型(LLM)的公共研究。LLM可用于文本生成或作为特定任务微调的基础模型。以下用例非穷尽列举。

直接应用

• 文本生成

• 探索语言模型生成文本的特征

  • 示例：完形填空测试、反事实生成、重构生成

下游应用

• 利用语言模型的任务包括：信息抽取、问答系统、文本摘要

滥用与超范围使用

本节说明用户不应采取的行为。

详见BLOOM许可证附件A的使用限制条款。以下列举部分易预见的非穷尽问题用例。

超范围使用

在高风险场景使用本模型属于超范围应用。该模型并非为涉及个人生计或福祉的关键决策设计。模型输出内容可能看似真实实则错误。

超范围场景包括：

• 生物医学、政治法律或金融领域应用

• 用于个人评估评分，如就业、教育或信贷场景

• 应用于关键自动决策、生成事实性内容、创建可靠摘要或必须正确的预测场景

滥用行为

故意将模型用于危害行为、侵犯人权或其他恶意活动均属滥用。包括：

• 垃圾内容生成

• 虚假信息与舆论操控

• 诽谤中伤

• 骚扰虐待

• 欺骗行为

• 未经同意的身份仿冒

• 未经同意的监控

• 未按RAIL许可证使用限制要求标注模型生成内容

目标用户

直接用户

• 公众

• 研究人员

• 学生

• 教育工作者

• 工程师/开发者

• 非商业实体

• 社区倡导者(包括人权与民权组织)

间接用户

• 直接用户所创建衍生品的使用者，如使用含预期用途软件的用户

• 使用许可证所述模型衍生品的用户

其他受影响方

• 被LLM提及的个人与群体

• 接触LLM输出内容或基于LLM所做决策的个人与群体

• 作品被纳入LLM训练数据的原创者

各数据集详情参见独立数据卡片。

训练数据包含：

• 45种自然语言

• 12种编程语言

• 经预处理后的1.5TB文本，转化为3500亿唯一token(详见分词器说明)

语言分布

饼图显示训练数据的语言分布情况。

下表进一步展示尼日尔-刚果语系和印度语系在训练数据中的分布。

下表展示编程语言分布。

模型可能：

• 过度代表某些观点而低估其他观点

• 包含刻板印象

• 包含个人信息

• 生成：

  • 仇恨、侮辱或暴力内容

  • 歧视性或偏见性内容

  • 可能不适合所有场合的内容(包括性相关)

• 产生错误，包括输出看似真实实则错误的信息

• 生成无关或重复内容

评估指标

本节说明不同性能计算方式及其选用原因。

包括：

以及针对特定任务的多项指标。(更多评估指标将在评估方案完成后补充)

影响因素

本节列出BLOOM建模的不同方面，重点关注可能导致模型行为高变异的因素。

• 语言(如英语或约鲁巴语)

• 领域(如新闻或故事)

• 人口特征(如性别或国籍)

评估结果

基于影响因素和评估指标得出。

训练期间评估:

截至2022年5月25日15:00 PST：

• 训练损失: 2.0

• 验证损失: 2.2

• 困惑度: 8.9

(更多评估分数将在模型训练完成后补充。)

• 应让间接用户知晓所接触内容是否由LLM生成

• 用户应了解风险与限制，根据需要添加适龄声明或拦截界面

• 基于本LLM的预训练模型应更新模型卡片

• 模型使用者应建立受影响方的反馈机制(如意见反馈邮箱)