B

Bitnet B1.58 2B 4T Gguf

由 microsoft 开发
微软研究院开发的首个开源、原生1比特的大语言模型,参数规模达20亿,在4万亿token的语料库上训练而成。
下载量 25.77k
发布时间 : 4/15/2025

模型简介

BitNet b1.58 2B4T是一个原生1比特的大语言模型,证明了原生1比特大语言模型能够达到与相似规模的主流开放权重、全精度模型相当的性能,同时在计算效率(内存、能耗、延迟)上具有显著优势。

模型特点

原生1.58比特量化
权重通过绝对值均值量化到三元值{-1, 0, +1},激活通过绝对值最大值量化到8比特整数(按token)。
高效计算
在计算效率(内存、能耗、延迟)上具有显著优势,内存使用仅为0.4GB,延迟低至29ms(CPU解码)。
大规模训练
在4万亿token的语料库上训练而成,证明了原生1比特大语言模型能够达到与相似规模的主流开放权重、全精度模型相当的性能。
长上下文支持
最大序列长度为4096个token,支持长上下文任务。

模型能力

文本生成
聊天对话
指令遵循
数学推理
常识问答

使用案例

对话系统
AI助手
作为AI助手进行对话,回答用户问题。
能够生成流畅、连贯的对话响应。
教育
数学问题解答
解答数学问题,包括GSM8K和MATH-500等数学推理任务。
在GSM8K和MATH-500等数学推理任务上表现优异。
问答系统
常识问答
回答常识性问题,如ARC挑战赛、OpenbookQA等任务。
在ARC挑战赛、OpenbookQA等任务上表现良好。
AIbase
智启未来,您的人工智能解决方案智库
简体中文