许可协议：bigscience-bloom-rail-1.0
支持语言：

• 阿肯语
• 阿拉伯语
• 阿萨姆语
• 班巴拉语
• 孟加拉语
• 加泰罗尼亚语
• 编程代码
• 英语
• 西班牙语
• 巴斯克语
• 丰语
• 法语
• 古吉拉特语
• 印地语
• 印尼语
• 伊博语
• 基库尤语
• 卡纳达语
• 卢干达语
• 林加拉语
• 马拉雅拉姆语
• 马拉地语
• 尼泊尔语
• 北索托语
• 齐切瓦语
• 奥里亚语
• 旁遮普语
• 葡萄牙语
• 隆迪语
• 卢旺达语
• 绍纳语
• 南索托语
• 斯瓦希里语
• 泰米尔语
• 泰卢固语
• 茨瓦纳语
• 聪加语
• 通布卡语
• 特威语
• 乌尔都语
• 越南语
• 沃洛夫语
• 科萨语
• 约鲁巴语
• 中文
• 简体中文
• 繁体中文
• 祖鲁语

任务类型：文本生成

BLOOM语言模型

BigScience大型开放科学多语言语言模型

模型卡片

版本1.0 / 2022年5月26日

Bloom-1b7模型卡片

目录

1. 模型详情
2. 用途
3. 偏见、风险与限制
4. 建议
5. 训练数据
6. 评估
7. 环境影响
8. 技术规格
9. 引用
10. 术语与计算
11. 更多信息
12. 模型卡片作者
13. 模型卡片联系

模型详情

模型描述

• 开发团队: BigScience (官网)
  • 所有贡献者均为志愿者或已获得雇主授权
• 模型类型: 基于Transformer的语言模型
• 版本: 1.0.0
• 支持语言: 多种（详见训练数据）
• 许可证: RAIL许可证v1.0 (链接)
• 预计发布日期: 2022年7月11日
• 资助方:
  • 法国政府
  • Hugging Face (官网)
  • 贡献机构（具体名单后续公布）

用途

预期用途

本模型旨在促进大型语言模型（LLM）的公共研究，可用于：

• 直接应用: 文本生成、语言特性探索（如完形填空测试、反事实生成）
• 下游应用: 信息抽取、问答系统、文本摘要等

滥用与超范围使用

详见BLOOM许可证附件A的详细限制条款，包括但不限于：

• 超范围使用:
  • 生物医学/政治/法律/金融领域应用
  • 个人评估（就业/教育/信贷等）
  • 需要高准确性的自动决策场景
• 滥用行为:
  • 垃圾信息生成
  • 虚假信息操作
  • 侵犯人权行为
  • 未经授权的监控等

目标用户

• 直接用户: 研究人员、教育工作者、开发者、非商业机构等
• 间接受众: 衍生品使用者、受生成内容影响的群体

偏见、风险与限制

模型可能：

• 呈现观点不平衡
• 包含刻板印象
• 生成不当内容（仇恨/歧视性言论等）
• 产生事实性错误

建议

• 间接用户应被告知内容来源
• 包含风险提示与年龄限制机制
• 提供用户反馈渠道

训练数据

• 数据规模: 1.5TB预处理文本（350B唯一token）
• 语言覆盖:
  • 45种自然语言
  • 12种编程语言

（详细语言分布图表与编程语言文件统计见原文表格）

评估

• 核心指标: 困惑度（8.9）、交叉熵损失（验证集2.2）
• 评估维度: 语言/领域/人口统计学特征

环境影响

• 训练设施: 法国Jean Zay超算中心（主要使用核能）
• 碳排放与电力消耗数据待训练完成后公布

技术规格

• 架构: 基于Megatron-LM GPT2改进
  • 解码器结构/ALiBI位置编码
  • 参数规模: 17.2亿
• 硬件: 64块V100 GPU（16节点）
• 训练时长: 2022年3月11日-5月20日

引用

建议引用格式: BigScience.《BLOOM多语言开放科学语言模型》. 国际协作, 2021年5月-2022年5月

（完整术语定义、数据集构建细节、技术博客链接等更多信息详见原文）

模型卡片作者

（按参与时间排序的贡献者名单，含Margaret Mitchell等30余人）

模型卡片联系

问题咨询: bigscience-contact@googlegroups.com