license: mit

这是对BitNet b1.58论文的复现。模型使用RedPajama数据集训练了1000亿个token。超参数设置、两阶段学习率及权重衰减均按照其后续论文建议实现。所有模型已在代码库中开源。我们将在资源允许时训练更大模型和/或更多token。

结果

困惑度与零样本准确率：

论文报告值与复现结果的差异可能源于训练数据处理、随机种子或其他随机因素。

评估

评估流程来自论文作者。运行评估的命令如下：

pip install lm-eval==0.3.0

python eval_ppl.py --hf_path 1bitLLM/bitnet_b1_58-3B --seqlen 2048

python eval_task.py --hf_path 1bitLLM/bitnet_b1_58-3B \
    --batch_size 1 \
    --tasks \
    --output_path result.json \
    --num_fewshot 0 \
    --ctx_size 2048