library_name: transformers base_model:

• meta-llama/Meta-Llama-3-8B-Instruct

模型卡片

Llama3-8B-1.58 模型系列

Llama3-8B-1.58 模型是基于 BitNet 1.58b 架构 微调的大型语言模型，其基础模型为 Llama-3-8B-Instruct。

如需深入了解方法与结果，请参阅我们的博客文章。

模型详情

模型来源

• 代码库: 模型
• 论文: 1比特LLM时代：所有大语言模型仅需1.58比特

快速开始

您可以通过Transformers轻松加载并测试我们的模型。只需按照以下代码操作：

首先安装支持bitnet模型的transformers版本

pip install git+https://github.com/huggingface/transformers.git@refs/pull/33410/head

然后加载模型：

model = AutoModelForCausalLM.from_pretrained("HF1BitLLM/Llama3-8B-1.58-100B-tokens", device_map="cuda", torch_dtype=torch.bfloat16)    
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct")

input_text = "丹尼尔回到了花园。玛丽去了厨房。桑德拉去了厨房。桑德拉去了走廊。约翰去了卧室。玛丽回到了花园。玛丽在哪里？\n答案："

input_ids = tokenizer.encode(input_text, return_tensors="pt").cuda()
output = model.generate(input_ids, max_length=10, do_sample=False)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

训练详情

训练数据

模型训练使用了FineWeb-edu数据集的子集

训练过程

1. 起始点

   • 采用在100亿token训练中表现最佳的检查点，配合线性lambda调度器

2. 训练时长

   • 额外微调45,000步
   • 总计达到1000亿token

3. 数据集

   • FineWeb-edu数据集

4. 批处理大小

   • 每步200万token
   • 单次运行总量：45,000步 × 200万token = 900亿token
   • 结合初始100亿token达到1000亿总量

5. 学习率实验

   • 测试多种学习率后确定最优峰值学习率为1e-5

6. 性能表现

   • 部分指标接近Llama3 8B
   • 整体平均性能略逊于Llama3 8B

7. 评估标准

   • 包括困惑度、MMLU分数等标准基准测试

通过1000亿token的扩展训练，这些高度量化模型的性能边界被进一步突破，使其表现更接近Llama3等半精度模型。

评估

模型评估基于nanotron检查点使用LightEval进行：