库名称：transformers
支持语言：

• 阿拉伯语
• 捷克语
• 德语
• 英语
• 西班牙语
• 法语
• 印地语
• 意大利语
• 日语
• 韩语
• 荷兰语
• 波兰语
• 葡萄牙语
• 罗马尼亚语
• 俄语
• 瑞典语
• 乌尔都语
• 中文

标签：

• falcon-h1

许可证类型：其他
许可证名称：falcon-llm-license
许可证链接：https://falconllm.tii.ae/falcon-terms-and-conditions.html

目录

0. 摘要
1. 模型详情
2. 训练详情
3. 使用方法
4. 评估结果
5. 引用方式

摘要

模型详情

模型描述

• 开发机构: 阿联酋技术创新研究院
• 模型类型: 因果解码器架构
• 架构特点: 混合Transformers + Mamba架构
• 支持语言: 英语、多语种
• 许可协议: Falcon-LLM许可证

训练详情

关于本模型训练协议的完整说明，请参阅Falcon-H1技术博客。

使用方法

当前可通过Hugging Face的transformers库、vLLM框架或我们定制版的llama.cpp库使用本模型。

推理部署

请确保安装最新版transformers或vllm，必要时从源码安装：

pip install git+https://github.com/huggingface/transformers.git  

vLLM官方文档提供了详细的源码编译指南。

🤗 transformers

参考以下代码片段使用transformers运行H1模型：

import torch  
from transformers import AutoModelForCausalLM, AutoTokenizer  

model_id = "tiiuae/Falcon-H1-1B-Base"  

model = AutoModelForCausalLM.from_pretrained(  
  model_id,  
  torch_dtype=torch.bfloat16,  
  device_map="auto"  
)  

# 执行文本生成任务  

vLLM

通过以下命令启动vLLM服务：

# pip install vllm  
vllm serve tiiuae/Falcon-H1-1B-Instruct --tensor-parallel-size 2 --data-parallel-size 1  

llama.cpp

我们正在将架构集成至原生llama.cpp库，目前可通过定制分支使用：
https://github.com/tiiuae/llama.cpp-Falcon-H1
安装方法与原生llama.cpp相同。

评估结果

Falcon-H1系列在推理任务等多项测试中表现优异：

完整评估数据请参见发布博客。

相关资源

• 查阅发布博客
• 加入Discord社区与研发团队交流

引用方式

若Falcon-H1系列模型对您的研究有所帮助，请引用：

@misc{tiifalconh1,  
    title = {Falcon-H1：重新定义效率与性能的混合头语言模型家族},  
    url = {https://falcon-lm.github.io/blog/falcon-h1},  
    author = {Falcon-LLM团队},  
    month = {5月},  
    year = {2025}  
}