许可证：apache-2.0
新版本：ibm-granite/granite-3.1-8b-base

模型名称：Granite-7b-base

许可证：Apache-2.0

支持语言：主要为英语

架构：该模型架构复现了Meta的Llama2-7B基础变体（含MHA机制），基于2T token数据以100万批次规模训练而成。

上下文长度：4k token

分词器：Llama2

开发团队：IBM研究院

作为IBM对开源创新的承诺，IBM以apache-2.0许可证发布了Granite系列基础预训练大模型granite-7b-base，供社区及商业使用。该模型作为Meta Llama-2-7B的开源参考实现，完全基于IBM精选数据从头训练。为促进数据透明与开放创新，下方提供了数据源、采样比例及获取链接。

训练详情请参阅博客：https://pytorch.org/blog/maximizing-training/

预训练数据
模型训练使用2T token数据，采样比例尽可能贴近Llama1论文公布的分布：

评估结果
LM-eval测试分数

偏见、风险与限制
Granite-7b-base作为基础模型未经过安全对齐，可能产生问题输出。在缺乏防护措施和RLHF的情况下，存在被恶意用于生成虚假/有害内容的风险。请勿完全依赖该模型进行关键决策，因其内容伪造难以杜绝。当前研究表明，较小模型在无依据生成场景中可能更易产生幻觉（受限于容量与记忆能力），该领域仍需深入研究与改进。