license: apache-2.0 library_name: transformers tags:

• 语言模型
• granite-4.0

Granite-4.0-Tiny-Base-Preview 预览版

模型概要:
Granite-4.0-Tiny-Base-Preview 是一个70亿参数的混合专家（MoE）语言模型，具有128k token的上下文窗口。该架构采用Mamba-2技术，并叠加softmax注意力机制以增强表达能力，同时不采用位置编码以实现更好的长度泛化能力。

• 开发团队: IBM Granite团队
• 官网: Granite文档
• 发布日期: 2025年5月2日
• 许可协议: Apache 2.0

支持语言:
英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文。用户可针对这12种语言之外的语种对Granite 4.0模型进行微调。

用途说明:
大型语言模型在文本生成任务中的典型应用包括摘要生成、文本分类、信息抽取、问答系统等长上下文任务。所有Granite基础模型都能处理这些任务，因为它们经过多领域海量数据训练。此外，这些模型可作为基础模型，针对特定应用场景构建专用模型。

安装说明:
需从源码安装transformers才能使用此检查点。
HuggingFace PR: https://github.com/huggingface/transformers/pull/37658
源码安装指南: https://huggingface.co/docs/transformers/en/installation#install-from-source

生成示例:
安装完成后，复制以下代码片段运行示例：

from transformers import AutoModelForCausalLM, AutoTokenizer
device = "auto"
model_path = "ibm-granite/granite-4.0-tiny-base-preview"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# 若使用CPU请删除device_map参数
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
# 可修改输入文本
input_text = "托马斯·J·沃森研究中心位于何处？"
# 文本编码
input_tokens = tokenizer(input_text, return_tensors="pt").to(device)
# 生成输出
output = model.generate(**input_tokens, max_length=4000)
# 解码输出
output = tokenizer.batch_decode(output)
# 打印结果
print(output)

评估结果:
（表格内容保持原格式不变，仅翻译表头）

模型架构:
Granite-4.0-Tiny-Base-Preview采用仅解码器的密集Transformer架构，核心组件包括：GQA和NoPE、带SwiGLU的MLP、RMSNorm以及共享的输入/输出嵌入。

训练数据:
本模型采用开源与专有数据混合的两阶段训练策略：

• 第一阶段数据：来自网络、代码、学术资料、书籍和数学数据等多领域
• 第二阶段数据：精选相同领域的高质量数据，增加多语言和指令数据，旨在提升特定任务表现

基础设施:
使用配备NVIDIA H100 GPU的IBM超级计算集群Blue Vela进行训练，该集群提供可扩展的高效基础设施支持数千GPU的模型训练。

伦理考量与限制:
使用大型语言模型需注意风险与伦理问题，包括但不限于：偏见与公平性、错误信息、自主决策等。虽然本模型适用于多种生成式AI任务，但未经安全对齐处理，可能产生问题输出。较小模型在生成场景中可能因记忆容量有限更易出现幻觉现象（直接复述训练数据），这仍是待研究领域。我们呼吁社区以负责任的态度使用本模型。

资源链接:

• 最新动态: https://www.ibm.com/granite
• 教程与最佳实践: https://www.ibm.com/granite/docs/
• 学习资源: https://ibm.biz/granite-learning-resources

[1] 使用OLMES进行评估