pipeline_tag: 文本生成 inference: false license: apache-2.0 library_name: transformers tags:

• 语言模型
• granite-4.0 base_model:
• ibm-granite/granite-4.0-tiny-base-preview

Granite-4.0微型预览版

模型概述： Granite-4-Tiny-Preview是基于Granite-4.0-Tiny-Base-Preview微调的70亿参数细粒度混合专家（MoE）指令模型，融合了开源指令数据集与专为解决长上下文问题设计的内部合成数据集。该模型采用结构化对话格式，结合监督微调和强化学习对齐等多样化技术开发。

• 开发团队： IBM Granite团队
• 官网： Granite文档
• 发布日期： 2025年5月2日
• 许可证： Apache 2.0

支持语言： 英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文。用户可针对其他语言进一步微调本模型。

应用场景： 适用于通用指令跟随任务，可集成至商业应用等跨领域AI助手。

核心能力

• 逻辑推理
• 摘要生成
• 文本分类
• 信息抽取
• 问答系统
• 检索增强生成（RAG）
• 代码相关任务
• 函数调用
• 多语言对话
• 长上下文处理（如长文档/会议摘要、长文档问答等）

安装指南： 需从源码安装transformers库以使用本模型。

HuggingFace PR：https://github.com/huggingface/transformers/pull/37658

源码安装指南：https://huggingface.co/docs/transformers/en/installation#install-from-source

生成示例： 安装完成后，复制以下代码片段运行：

from transformers import AutoModelForCausalLM, AutoTokenizer, set_seed
import torch

model_path="ibm-granite/granite-4.0-tiny-preview"
device="cuda"
model = AutoModelForCausalLM.from_pretrained(
        model_path,
        device_map=device,
        torch_dtype=torch.bfloat16,
    )
tokenizer = AutoTokenizer.from_pretrained(
        model_path
)

conv = [{"role": "user", "content":"现有10升30%的酸溶液，需加入多少升70%的酸溶液才能配制成50%的混合酸溶液？"}]

input_ids = tokenizer.apply_chat_template(conv, return_tensors="pt", thinking=True, return_dict=True, add_generation_prompt=True).to(device)

set_seed(42)
output = model.generate(
    **input_ids,
    max_new_tokens=8192,
)

prediction = tokenizer.decode(output[0, input_ids["input_ids"].shape[1]:], skip_special_tokens=True)
print(prediction)

评估结果：

训练数据： 主要包含：(1) 采用宽松许可协议的公开数据集，(2) 专为增强推理能力设计的内部合成数据。

基础设施： 使用配备NVIDIA H100 GPU的IBM超级计算集群Blue Vela进行训练，该集群为数千块GPU提供了可扩展的高效训练环境。

伦理考量与限制： 本模型融合了宽松许可的开源数据和精选专有数据。由于继承自前代模型，Granite-4.0-Tiny-Preview的所有伦理考量与限制同样适用。

资源链接

• ‚≠êÔ∏è 最新动态：https://www.ibm.com/granite
• üìÑ 教程与最佳实践：https://www.ibm.com/granite/docs/
• üí° 学习资源：https://ibm.biz/granite-learning-resources