library_name: transformers tags:

• bitnet
• falcon-e license: other license_name: falcon-llm-license license_link: https://falconllm.tii.ae/falcon-terms-and-conditions.html

目录

0. 摘要
1. 模型详情
2. 训练详情
3. 使用指南
4. 评估结果
5. 引用方式

摘要

模型详情

模型描述

• 开发机构: https://www.tii.ae
• 模型类型: 因果解码器架构/基础版本
• 网络结构: 纯Transformer架构 - 1.58比特量化版本
• 支持语言: 英语
• 许可协议: Falcon-LLM许可证

训练详情

关于本模型训练细节的完整说明，请参阅Falcon-E技术博客。

使用指南

当前可通过Hugging Face transformers库或BitNet库使用本模型。根据使用场景不同，我们提供多种交互方式。Falcon-E系列每个模型包含三个变体：BitNet量化模型、用于微调的预量化检查点，以及BitNet模型的bfloat16版本。

推理应用

🤗 transformers库

如需运行BitNet检查点的推理：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "tiiuae/Falcon-E-1B-Base"

model = AutoModelForCausalLM.from_pretrained(
  model_id,
  torch_dtype=torch.bfloat16,
).to("cuda")

# 执行文本生成

如需使用标准bfloat16版本：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "tiiuae/Falcon-E-1B-Base"
revision = "bfloat16"

model = AutoModelForCausalLM.from_pretrained(
  model_id,
  torch_dtype=torch.bfloat16,
  revision=revision,
).to("cuda")

# 执行文本生成

BitNet库

git clone https://github.com/microsoft/BitNet && cd BitNet
pip install -r requirements.txt
python setup_env.py --hf-repo tiiuae/Falcon-E-1B-Base -q i2_s
python run_inference.py -m models/Falcon-E-1B-Base/ggml-model-i2_s.gguf -p "You are a helpful assistant" -cnv

微调指南

进行模型微调时，请加载prequantized版本模型并使用onebitllms工具包：

import torch

from transformers import AutoModelForCausalLM, AutoTokenizer
from trl import SFTTrainer
+ from onebitllms import replace_linear_with_bitnet_linear, quantize_to_1bit

model_id = "tiiuae/Falcon-E-1B-Base"

tokenizer = AutoTokenizer.from_pretrained(model_id, revision="prequantized")
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
+    revision="prequantized"
)
+ model = replace_linear_with_bitnet_linear(model)

trainer = SFTTrainer(
    model,
    ...
)

trainer.train()

+ quantize_to_1bit(output_directory)

评估结果

下表展示我们在内部测试管道中的基准表现：

注：评估结果为原Hugging Face排行榜v2任务的标准化分数

指令微调模型表现如下：

实用链接

• 查看发布公告博客
• 了解onebitllms工具库
• 欢迎加入Discord社区与研发团队交流

引用方式

若Falcon-E系列模型对您的研究有所帮助，请引用我们的工作：

@misc{tiionebitllms,
    title = {Falcon-E：强大、通用且可微调的1.58比特语言模型系列},
    author = {Falcon-LLM团队},
    month = {四月},
    url = {https://falcon-lm.github.io/blog/falcon-edge},
    year = {2025}
}