库名称：transformers
标签：

• falcon-h1
  许可证：其他
  许可证名称：falcon-llm-license
  许可证链接：https://falconllm.tii.ae/falcon-terms-and-conditions.html
  基础模型：tiiuae/Falcon-H1-34B-Base
  推理支持：true

目录

0. 简介
1. 模型详情
2. 训练详情
3. 使用方法
4. 评估
5. 引用

简介

模型详情

模型描述

• 开发方：https://www.tii.ae
• **模型类型：**因果解码器专用
• **架构：**混合Transformers + Mamba架构
• **支持语言（NLP）：**英语、多语言
• **许可证：**Falcon-LLM许可证

训练详情

关于此模型训练协议的更多细节，请参阅Falcon-H1技术博客。

使用方法

目前，您可以使用Hugging Face的transformers、vLLM或我们的自定义llama.cpp库分支来使用此模型。

推理

确保安装最新版本的transformers或vllm，或从源代码安装这些包：

pip install git+https://github.com/huggingface/transformers.git  

更多关于从源代码构建vLLM的详细信息，请参阅官方vLLM文档。

🤗 transformers

参考以下代码片段使用🤗 transformers运行H1模型：

import torch  
from transformers import AutoModelForCausalLM, AutoTokenizer  

model_id = "tiiuae/Falcon-H1-1B-Base"  

model = AutoModelForCausalLM.from_pretrained(  
  model_id,  
  torch_dtype=torch.bfloat16,  
  device_map="auto"  
)  

# 执行文本生成  

vLLM

对于vLLM，只需执行以下命令启动服务器：

# pip install vllm  
vllm serve tiiuae/Falcon-H1-1B-Instruct --tensor-parallel-size 2 --data-parallel-size 1  

llama.cpp

虽然我们正在努力将我们的架构直接集成到llama.cpp库中，但您可以安装我们的库分支并直接使用：https://github.com/tiiuae/llama.cpp-Falcon-H1
安装指南与llama.cpp相同。

评估

Falcon-H1系列在多种任务上表现优异，包括推理任务。

更多详细基准测试，请查看我们的发布博客。

有用链接

• 查看我们的发布博客。
• 如有任何问题或想与我们的研究人员和开发者交流，欢迎加入我们的Discord服务器。

引用

如果Falcon-H1系列模型对您的工作有所帮助，请引用我们。

@misc{tiifalconh1,  
    title = {Falcon-H1: 重新定义效率与性能的混合头语言模型家族},  
    url = {https://falcon-lm.github.io/blog/falcon-h1},  
    author = {Falcon-LLM团队},  
    month = {5月},  
    year = {2025}  
}