Granite 3.3 8b Instruct GGUF

由 unsloth 开发

Granite-3.3-8B-Instruct 是一款具有80亿参数、支持128K上下文长度的语言模型，专为提升推理和指令跟随能力而微调。

大型语言模型开源协议:Apache-2.0 #128K长上下文处理 #多语言指令跟随 #结构化推理输出

下载量 7,102

发布时间 : 5/10/2025

模型介绍

内容详情

替代品

模型简介

基于Granite-3.3-8B-Base构建，该模型在衡量通用性能的基准测试上表现显著提升，并在数学、编程和指令遵循方面有所改进。支持结构化推理，清晰区分内部思考与最终输出。

模型特点

结构化推理

支持通过<think></think>和<response></response>标签进行结构化推理，清晰区分内部思考与最终输出。

长上下文支持

支持128K的上下文长度，适合处理长文档摘要、问答等任务。

多语言支持

支持12种语言，包括英语、中文等，并可针对其他语言进行微调。

高性能推理

在AlpacaEval-2.0和Arena-Hard等基准测试上表现优异，尤其在数学、编程和指令遵循方面有显著提升。

模型能力

思考推理

文本摘要

文本分类

信息抽取

问答系统

检索增强生成(RAG)

编程相关任务

函数调用任务

多语言对话场景

长上下文任务

使用案例

通用指令跟随

家居用品重新设计

重新设计一款常见家居用品，使其更具可持续性和用户友好性。

提供详细的改进方案和益处分析。

长文档处理

长文档摘要

对长文档或会议记录进行摘要。

生成简洁准确的摘要内容。

编程辅助

代码生成

根据自然语言描述生成代码。

生成功能正确的代码片段。

pipeline_tag: 文本生成 inference: false license: apache-2.0 library_name: transformers tags:

语言模型
unsloth
granite-3.3 base_model:
ibm-granite/granite-3.3-8b-instruct

Granite-3.3-8B-Instruct

模型概述： Granite-3.3-8B-Instruct 是一个具有80亿参数、支持128K上下文长度的语言模型，专为提升推理和指令跟随能力而微调。基于 Granite-3.3-8B-Base 构建，该模型在通用性能基准（如 AlpacaEval-2.0 和 Arena-Hard）上表现显著提升，同时在数学、编程和指令遵循方面也有改进。它通过 <think></think> 和 <response></response> 标签支持结构化推理，清晰区分内部思考与最终输出。模型训练数据结合了宽松许可的公开数据集和精心策划的合成任务。

开发团队： Granite 团队，IBM
网站: Granite 文档
发布日期: 2025年4月16日
许可证: Apache 2.0

支持语言： 英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文。用户可针对这12种语言之外的语种进一步微调此 Granite 模型。

用途： 该模型设计用于处理通用指令跟随任务，可集成到包括商业应用在内的各类AI助手中。

能力

思考推理
摘要生成
文本分类
文本提取
问答系统
检索增强生成（RAG）
代码相关任务
函数调用任务
多语言对话场景
长上下文任务（如长文档/会议摘要、长文档问答等）

生成示例： 以下是使用 Granite-3.3-8B-Instruct 模型的简单示例。

安装所需库：

pip install torch torchvision torchaudio
pip install accelerate
pip install transformers

然后复制与您的使用场景相关的代码片段。

from transformers import AutoModelForCausalLM, AutoTokenizer, set_seed
import torch

model_path="ibm-granite/granite-3.3-8b-instruct"
device="cuda"
model = AutoModelForCausalLM.from_pretrained(
        model_path,
        device_map=device,
        torch_dtype=torch.bfloat16,
    )
tokenizer = AutoTokenizer.from_pretrained(
        model_path
)

conv = [{"role": "user", "content":"重新设计一个常见家居用品，使其更可持续且用户友好。说明改动及其好处。"}]

input_ids = tokenizer.apply_chat_template(conv, return_tensors="pt", thinking=True, return_dict=True, add_generation_prompt=True).to(device)

set_seed(42)
output = model.generate(
    **input_ids,
    max_new_tokens=8192,
)

prediction = tokenizer.decode(output[0, input_ids["input_ids"].shape[1]:], skip_special_tokens=True)
print(prediction)

示例输出

thinking=True

<think>针对这个提示，我将重点重新设计塑料水瓶。目标是使其更可持续和用户友好。以下是建议的改动及其好处：

1. **材料**：用玻璃或植物基塑料（PLA）替代塑料。
2. **设计**：采用模块化设计便于重复灌装和清洁。
3. **功能**：内置净水过滤器。
4. **耐用性**：通过坚固结构延长使用寿命。
5. **用户体验**：简化瓶盖开合机制。

这些改动将显著减少塑料垃圾，促进回收，确保饮用水安全，并提升整体体验。

现在我将以结构化形式详细说明每项改动及其益处。</think>

<response>### 可持续与用户友好的塑料水瓶 redesign

#### 1. 材料：可生物降解/可回收替代品

**改动**：从传统PET塑料转向玻璃或聚乳酸（PLA）。

**好处**：
- **环保**：玻璃和PLA可生物降解或高度可回收，大幅减少污染。
- **健康**：避免PET材料化学物质渗入，保障饮水安全。

#### 2. 模块化设计

**改动**：可拆卸内胆+可重复使用外壳。

**好处**：
- **易用性**：内胆可彻底清洁，减少细菌滋生。
- **可持续**：外壳长期使用，内胆可更换回收。

#### 3. 内置过滤器

**改动**：瓶盖集成可更换滤芯。

**好处**：
- **便利性**：直接净化自来水/河水，无需额外设备。
- **健康**：去除污染物和细菌，保障饮水安全。
- **环保**：减少一次性瓶装水消费。

#### 4. 增强耐用性

**改动**：采用优质耐用材料和加固工艺。

**好处**：
- **长效性**：延长产品生命周期，减少更换频率。
- **经济性**：长期使用更节省成本。
- **可持续**：降低废弃频率，减少环境负担。

#### 5. 简化瓶盖

**改动**：一键开合运动型瓶盖设计。

**好处**：
- **无障碍**：方便儿童、老年人及行动不便者使用。
- **便捷**：促进频繁补水，培养健康习惯。

### 总结

通过采用可降解材料、模块化设计、内置过滤、耐用结构和简易瓶盖，这款 redesign 既减少了环境足迹，又提供了卓越的用户体验。</response>

thinking=False

改造对象：塑料水瓶

创新设计：生态友好型模块化多功能瓶

改动：

1. 材料：采用食品级不锈钢/玻璃替代塑料，更耐用无毒且可回收。
2. 模块化：可更换瓶嘴、提环等配件，按需定制减少重复购买。
3. 集成过滤：可清洗重复使用的内置滤芯，避免购买瓶装水。
4. 智能瓶盖：带显示屏和温度传感器，支持饮水追踪和APP同步。
5. 易清洁：宽口径+平滑内壁，配套清洁刷。
6. 可折叠：不用时压缩节省空间。

优势：

1. 环保：减少塑料消耗和废弃物。
2. 用户体验：智能提醒、便捷清洁和个性化配置。
3. 健康保障：杜绝BPA等有害物质，确保水质纯净。
4. 经济性：长期使用比频繁购买瓶装水更划算。
5. 促进饮水：智能功能帮助培养规律饮水习惯。

评估结果：

Phi 2 GGUF

其他

Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。

基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法

Distilbert Base Uncased

Apache-2.0

DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。

Llama 3.1 8B Instruct GGUF

Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。

XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。

基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调

OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。

Llama 3.1 8B Instruct

Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。

T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。

XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。

精选推荐AI模型

Llama 3 Typhoon V1.5x 8b Instruct

专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务

Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。

Roberta Base Chinese Extractive Qa

基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。

AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。

简体中文

热门模型

Llama 3 Typhoon V1.5x 8b Instruct

Cadet Tiny

Roberta Base Chinese Extractive Qa

热门模型分类

热门标签

**不同模型在多项基准测试中的对比¹。AlpacaEval-2.0和Arena-Hard分数均基于thinking=True模式计算**
模型	Arena-Hard	AlpacaEval-2.0	MMLU	PopQA	TruthfulQA	BigBenchHard²	DROP³	GSM8K	HumanEval	HumanEval+	IFEval	AttaQ
Granite-3.1-2B-Instruct	23.3	27.17	57.11	20.55	59.79	61.82	20.99	67.55	79.45	75.26	63.59	84.7
Granite-3.2-2B-Instruct	24.86	34.51	57.18	20.56	59.8	61.39	23.84	67.02	80.13	73.39	61.55	83.23
Granite-3.3-2B-Instruct