library_name: transformers tags:

• 猎鹰-H1 license: other license_name: 猎鹰大模型许可协议 license_link: https://falconllm.tii.ae/falcon-terms-and-conditions.html base_model: tiiuae/Falcon-H1-1.5B-Deep-Base inference: true

目录

0. 摘要
1. 模型详情
2. 训练详情
3. 使用方式
4. 评估结果
5. 引用方式

摘要

模型详情

模型描述

• 开发机构: 阿联酋技术创新研究院
• 模型类型: 因果解码器架构
• 网络结构: 混合Transformer与曼巴架构
• 支持语言: 英语、多语种
• 许可协议: 猎鹰大模型许可协议

训练详情

本模型的完整训练方案详见猎鹰-H1技术博客。

使用方式

当前可通过Hugging Face的transformers库、vLLM框架或我们定制的llama.cpp分支版本来使用本模型。

推理部署

请确保安装最新版transformers或vllm，推荐从源码安装：

pip install git+https://github.com/huggingface/transformers.git

vLLM官方文档提供了详细的源码编译指南。

🤗 transformers

使用transformers库运行H1模型的示例代码：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "tiiuae/Falcon-H1-1B-Base"

model = AutoModelForCausalLM.from_pretrained(
  model_id,
  torch_dtype=torch.bfloat16,
  device_map="auto"
)

# 执行文本生成任务

vLLM框架

通过以下命令启动vLLM服务：

# pip install vllm
vllm serve tiiuae/Falcon-H1-1B-Instruct --tensor-parallel-size 2 --data-parallel-size 1

llama.cpp定制版

我们正在将架构集成至原生llama.cpp库，当前可使用定制分支版本： https://github.com/tiiuae/llama.cpp-Falcon-H1 安装方式与原生llama.cpp相同。

评估结果

猎鹰-H1系列在各类任务中表现卓越，尤其擅长推理任务。

完整评测结果请参阅发布博客中的详细基准测试。

相关资源

• 查阅发布博客
• 欢迎加入Discord社区与研发团队交流

引用方式

若猎鹰-H1系列模型对您的研究有所帮助，请引用我们的工作：

@misc{tiifalconh1,
    title = {猎鹰-H1：重新定义效率与性能的混合架构语言模型家族},
    url = {https://falcon-lm.github.io/blog/falcon-h1},
    author = {猎鹰大模型团队},
    month = {5月},
    year = {2025}
}