🚀 Falcon-H1模型

Falcon-H1是一系列基于混合架构的语言模型，结合了Transformer和Mamba架构，在多种语言和任务上展现出出色的性能，为自然语言处理提供了高效且强大的解决方案。

🚀 快速开始

目前，要使用此模型，你可以依赖Hugging Face的transformers、vLLM或我们自定义的llama.cpp库的分支。

推理

确保安装最新版本的transformers或vLLM，必要时从源代码安装这些包：

pip install git+https://github.com/huggingface/transformers.git

更多关于从源代码构建vLLM的详细信息，请参考官方vLLM文档。

🤗 transformers

参考以下代码片段，使用🤗 transformers运行H1模型：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "tiiuae/Falcon-H1-1B-Base"

model = AutoModelForCausalLM.from_pretrained(
  model_id,
  torch_dtype=torch.bfloat16,
  device_map="auto"
)

# Perform text generation

vLLM

对于vLLM，只需执行以下命令启动服务器：

# pip install vllm
vllm serve tiiuae/Falcon-H1-1B-Instruct --tensor-parallel-size 2 --data-parallel-size 1

llama.cpp

虽然我们正在努力将我们的架构直接集成到llama.cpp库中，但你可以安装我们的库分支并直接使用：https://github.com/tiiuae/llama.cpp-Falcon-H1。使用与llama.cpp相同的安装指南。

✨ 主要特性

• 多语言支持：支持阿拉伯语、捷克语、德语、英语、西班牙语、法语、印地语、意大利语、日语、韩语、荷兰语、波兰语、葡萄牙语、罗马尼亚语、俄语、瑞典语、乌尔都语和中文等多种语言。
• 混合架构：采用混合Transformer + Mamba架构，结合了两者的优势。
• 高性能表现：在多种任务上表现出色，包括推理任务。

📦 安装指南

安装transformers

pip install git+https://github.com/huggingface/transformers.git

安装vLLM

pip install vllm

安装llama.cpp分支

参考https://github.com/tiiuae/llama.cpp-Falcon-H1的安装指南。

💻 使用示例

基础用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "tiiuae/Falcon-H1-1B-Base"

model = AutoModelForCausalLM.from_pretrained(
  model_id,
  torch_dtype=torch.bfloat16,
  device_map="auto"
)

# Perform text generation

高级用法

使用vLLM启动服务器进行推理：

# pip install vllm
vllm serve tiiuae/Falcon-H1-1B-Instruct --tensor-parallel-size 2 --data-parallel-size 1

📚 详细文档

模型详情

• 开发者：https://www.tii.ae
• 模型类型：因果解码器
• 架构：混合Transformer + Mamba架构
• 支持语言：英语、多语言
• 许可证：Falcon-LLM许可证

训练详情

有关此模型训练协议的更多详细信息，请参考Falcon-H1技术博客文章。

评估

Falcon-H1系列在各种任务上表现出色，包括推理任务。详细评估结果如下：

你可以在我们的发布博客文章中查看更详细的基准测试。

有用链接

• 查看我们的发布博客文章。
• 如果你有任何问题或想与我们的研究人员和开发人员交流，请加入我们的Discord服务器。

🔧 技术细节

Falcon-H1模型采用了混合Transformer + Mamba架构，这种架构结合了Transformer在序列建模方面的优势和Mamba在计算效率上的特点。详细的技术信息请参考Falcon-H1技术博客文章。

📄 许可证

本模型使用Falcon-LLM许可证，具体条款请参考许可证链接。

📖 引用

如果Falcon-H1系列模型对你的工作有帮助，请引用以下内容：

@misc{tiifalconh1,
    title = {Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance},
    url = {https://falcon-lm.github.io/blog/falcon-h1},
    author = {Falcon-LLM Team},
    month = {May},
    year = {2025}
}