许可证：cc0-1.0
数据集：

• HuggingFaceFW/fineweb
• HuggingFaceFW/fineweb-2
• bigcode/the-stack-v2
  语言：
• 英语
• 中文
• 俄语
• 德语
• 日语
• 西班牙语
• 法语
• 意大利语
• 葡萄牙语
• 波兰语
• 荷兰语
• 印尼语
• 土耳其语
• 捷克语
• 韩语
• 阿拉伯语
• 匈牙利语
• 波斯语
• 罗马尼亚语
• 越南语
• 乌克兰语
• 挪威语
• 泰语
• 希腊语
• 瑞典语
• 丹麦语
• 斯洛伐克语
• 克罗地亚语
• 印地语
• 立陶宛语
• 波斯尼亚语
• 希伯来语
• 孟加拉语
• 斯洛文尼亚语
• 爱沙尼亚语
• 加泰罗尼亚语
• 拉脱维亚语
  任务标签：文本生成

Nous Consilience 40B 是一个生成式文本模型，通过互联网以去中心化的方式从零开始预训练。
该模型每 500 个训练步骤自动更新一次，最新检查点从预训练仪表盘上传至此。

更多信息请阅读博客文章。

模型详情

模型类型： 仅解码器 Transformer
参数量： 400 亿
架构： DeepSeek v3 + MLA（密集版，无 MoE 路由）
预训练数据： 20T token，合并 FineWeb、FineWeb 2 和 The Stack v2
训练时长： 待定
优化器： DisTrO，去中心化版本

预训练数据集

训练数据融合了 FineWeb（14T）、移除部分小众语言的 FineWeb-2（4T）以及 The Stack V2（约 0.2T，上采样至 1T token）。我们未选择那些单纯为提升基准性能的专业预训练数据集。Consilience 的目标是打造真正的"基础"模型——代表人类全部创造性产出的模型，而非仅为赢得基准测试竞赛。

此外，我们持续训练该模型，未设置最终数据"退火"步骤。虽然退火能提升基础模型对基准测试的响应准确性并改善可用性，但可能限制创造力和有趣行为。我们的解决方案是同时发布两个版本：先发布原始未退火的基础模型，再发布退火版本以提升可用性。

许可协议

作为代表人类广泛多样创造性产出的模型，我们选择双重许可协议：默认采用 CC0（贡献至公共领域），同时允许用户选择 MIT 协议（需署名且免责）。