G

Granite 3.2 8b Instruct GGUF

由 Mungert 开发
IBM Granite系列8B参数指令微调语言模型,采用IQ-DynamicGate超低比特量化技术,适用于高效推理场景
下载量 1,048
发布时间 : 3/19/2025

模型简介

该模型是IBM Granite系列的中等规模语言模型,经过指令微调优化,支持文本生成任务。采用创新的IQ-DynamicGate量化技术,可在1-2比特精度下保持较高性能。

模型特点

IQ-DynamicGate量化技术
创新的1-2比特精度自适应量化方法,通过分层策略在保持内存效率的同时保留模型精度
混合精度分配
前25%和后25%层使用IQ4_XS,中间50%层使用IQ2_XXS/IQ3_S,关键组件使用Q5_K保护
高效推理
针对CPU和低显存设备优化,提供多种量化版本适应不同硬件环境

模型能力

文本生成
指令跟随
低资源推理

使用案例

边缘计算
移动设备AI助手
在内存受限的移动设备上部署智能助手
IQ1_M量化版本困惑度降低43.9%
研究开发
超低比特量化研究
作为1-2比特量化技术的研究平台
IQ2_S量化版本在仅增加0.2GB情况下降低36.9%困惑度
AIbase
智启未来,您的人工智能解决方案智库
简体中文