license: apache-2.0 language:

• en
• zh tags:
• 音频
• 自动语音识别
• ASR

[代码] [论文] [模型] [博客]

FireRedASR是一系列支持普通话、中国方言和英语的开源工业级自动语音识别（ASR）模型，在公开的普通话ASR基准测试中实现了新的最先进水平（SOTA），同时具备出色的歌词识别能力。

🔥 最新动态

• [2025/02/17] 发布FireRedASR-LLM-L模型权重。
• [2025/01/24] 发布技术报告、博客和FireRedASR-AED-L模型权重。

方法

FireRedASR旨在满足不同应用场景中对卓越性能和最优效率的多样化需求，包含两种变体：

• FireRedASR-LLM：专为实现最先进（SOTA）性能和无缝端到端语音交互而设计，采用Encoder-Adapter-LLM框架，充分利用大语言模型（LLM）能力。
• FireRedASR-AED：专为平衡高性能与计算效率而设计，可作为基于LLM的语音模型中的高效语音表示模块，采用基于注意力的编码器-解码器（AED）架构。

评估

中文结果以字错误率（CER%）报告，英文结果以词错误率（WER%）报告。

公开普通话ASR基准测试结果

ws表示WenetSpeech数据集。

公开中国方言和英语ASR基准测试结果

使用指南

从huggingface下载模型文件并放置于pretrained_models文件夹。

如需使用FireRedASR-LLM-L，还需下载Qwen2-7B-Instruct并放置于pretrained_models文件夹。然后进入FireRedASR-LLM-L目录运行$ ln -s ../Qwen2-7B-Instruct

环境配置

创建Python环境并安装依赖

$ git clone https://github.com/FireRedTeam/FireRedASR.git
$ conda create --name fireredasr python=3.10
$ pip install -r requirements.txt

设置Linux PATH和PYTHONPATH

$ export PATH=$PWD/fireredasr/:$PWD/fireredasr/utils/:$PATH
$ export PYTHONPATH=$PWD/:$PYTHONPATH

将音频转换为16kHz 16位PCM格式

ffmpeg -i input_audio -ar 16000 -ac 1 -acodec pcm_s16le -f wav output.wav

快速开始

$ cd examples
$ bash inference_fireredasr_aed.sh
$ bash inference_fireredasr_llm.sh

命令行使用

$ speech2text.py --help
$ speech2text.py --wav_path examples/wav/BAC009S0764W0121.wav --asr_type "aed" --model_dir pretrained_models/FireRedASR-AED-L
$ speech2text.py --wav_path examples/wav/BAC009S0764W0121.wav --asr_type "llm" --model_dir pretrained_models/FireRedASR-LLM-L

Python调用

from fireredasr.models.fireredasr import FireRedAsr

batch_uttid = ["BAC009S0764W0121"]
batch_wav_path = ["examples/wav/BAC009S0764W0121.wav"]

# FireRedASR-AED
model = FireRedAsr.from_pretrained("aed", "pretrained_models/FireRedASR-AED-L")
results = model.transcribe(
    batch_uttid,
    batch_wav_path,
    {
        "use_gpu": 1,
        "beam_size": 3,
        "nbest": 1,
        "decode_max_len": 0,
        "softmax_smoothing": 1.25,
        "aed_length_penalty": 0.6,
        "eos_penalty": 1.0
    }
)
print(results)


# FireRedASR-LLM
model = FireRedAsr.from_pretrained("llm", "pretrained_models/FireRedASR-LLM-L")
results = model.transcribe(
    batch_uttid,
    batch_wav_path,
    {
        "use_gpu": 1,
        "beam_size": 3,
        "decode_max_len": 0,
        "decode_min_len": 0,
        "repetition_penalty": 3.0,
        "llm_length_penalty": 1.0,
        "temperature": 1.0
    }
)
print(results)

使用技巧

批量束搜索

• 使用FireRedASR-LLM进行批量束搜索时，请确保输入语音长度相近。若长度差异较大，较短语音可能出现重复问题。可通过按长度排序数据集或将batch_size设为1来避免。

输入长度限制

• FireRedASR-AED支持最长60秒音频输入。超过60秒可能导致幻觉问题，超过200秒将触发位置编码错误。
• FireRedASR-LLM支持最长30秒音频输入。更长输入的行为尚不明确。

致谢

感谢以下开源项目：

• Qwen2-7B-Instruct
• icefall/ASR_LLM
• WeNet
• Speech-Transformer

引用

@article{xu2025fireredasr,
  title={FireRedASR：从编码器-解码器到LLM集成的开源工业级普通话语音识别模型},
  author={徐凯拓 and 谢丰龙 and 唐旭 and 胡尧},
  journal={arXiv预印本 arXiv:2501.14350},
  year={2025}
}