BitNet b1.58 3B是一种1位量化的大型语言模型，使用RedPajama数据集训练了1000亿token，在保持性能的同时显著降低了计算资源需求。

该模型是基于微软Xtremedistil模型的轻量级蒸馏版本，在wikitext数据集上进行了微调，适用于文本生成任务。

该模型是一个稀疏预训练模型，通过权重修剪技术实现90%稀疏度，适用于多种语言任务微调。

这是一个稀疏预训练的BERT-Base模型，通过一次性修剪方法实现90%权重稀疏化，适用于多种语言任务微调。