pipeline_tag: 文本生成 inference: false license: apache-2.0 library_name: transformers tags:

• 语言模型
• granite-3.1 base_model:
• ibm-granite/granite-3.1-3b-a800m-base

Granite-3.1-3B-A800M-Instruct

模型概述： Granite-3.1-3B-A800M-Instruct是基于Granite-3.1-3B-A800M-Base微调的30亿参数长上下文指令模型，融合了开源指令数据集与专为解决长上下文问题设计的内部合成数据集。该模型采用结构化对话格式，结合监督微调、强化学习对齐和模型融合等多样化技术开发。

• 开发团队： IBM Granite团队
• GitHub仓库： ibm-granite/granite-3.1-language-models
• 官网文档： Granite技术文档
• 论文： Granite 3.1语言模型（即将发布）
• 发布日期： 2024年12月18日
• 许可证： Apache 2.0

支持语言： 英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文。用户可针对其他语言对Granite 3.1模型进行微调。

应用场景： 本模型适用于通用指令响应，可构建跨领域AI助手（含商业应用）。

核心能力

• 文本摘要
• 文本分类
• 信息抽取
• 问答系统
• 检索增强生成(RAG)
• 代码相关任务
• 函数调用任务
• 多语言对话场景
• 长上下文任务（长文档/会议摘要、长文档问答等）

生成示例： 以下是使用Granite-3.1-3B-A800M-Instruct的简单示例：

安装依赖库：

pip install torch torchvision torchaudio
pip install accelerate
pip install transformers

复制对应代码片段：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "auto"
model_path = "ibm-granite/granite-3.1-3b-a800m-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# 若使用CPU请移除device_map参数
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
# 可自定义输入文本
chat = [
    { "role": "user", "content": "请列举一个位于美国的IBM研究院实验室，只需输出名称和位置。" },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
# 文本编码
input_tokens = tokenizer(chat, return_tensors="pt").to(device)
# 生成输出
output = model.generate(**input_tokens, 
                        max_new_tokens=100)
# 解码输出
output = tokenizer.batch_decode(output)
# 打印结果
print(output)

评估结果： （保留原始表格格式及数据，仅翻译表头）

模型架构： Granite-3.1-3B-A800M-Instruct采用仅解码器的密集Transformer架构，核心组件包括：GQA与RoPE、SwiGLU激活的MLP、RMSNorm及共享输入/输出嵌入。 （保留原始架构参数表格，仅翻译表头）

训练数据： 监督微调数据主要包含三类：(1) 许可开源的公开数据集，(2) 针对长上下文等能力的内部合成数据，(3) 少量人工标注数据。详细数据溯源参见Granite 3.0技术报告和贡献者列表。

基础设施： 模型训练采用IBM超级计算集群Blue Vela，配备NVIDIA H100 GPU，支持数千GPU的规模化高效训练。

伦理考量与限制： 虽然模型支持多语言场景，但非英语任务性能可能受限，建议通过示例提示(few-shot)提升准确性。尽管已进行安全对齐，模型仍可能产生不准确/偏见内容，建议用户针对具体场景进行安全测试与调优。

资源链接

• ‚≠êÔ∏è 最新动态：https://www.ibm.com/granite
• üìÑ 教程与最佳实践：https://www.ibm.com/granite/docs/
• üí° 学习资源：https://ibm.biz/granite-learning-resources