pipeline_tag: 音频处理 tags:

• 音频 license: apache-2.0 language:
• 英文

TIGER：时频交错增益提取与重建的高效语音分离模型

徐默涵^*, 李凯^*, 陈果, 胡晓林
清华大学，北京，中国
^*同等贡献
📄 ICLR 2025 | 🎶 演示 | 💾 数据集

TIGER是一种轻量级语音分离模型，通过频带分割、多尺度和全频帧建模有效提取关键声学特征。

🔥 新闻

• [2025-01-23] 我们发布了TIGER的代码和预训练模型！🚀
• [2025-01-23] 我们发布了TIGER模型和EchoSet数据集！🚀

📄 摘要

本文提出了一种参数规模和计算成本显著降低的语音分离模型：时频交错增益提取与重建网络（TIGER）。TIGER利用先验知识划分频带并对频率信息进行压缩。我们采用多尺度选择性注意力（MSA）模块提取上下文特征，同时引入全频帧注意力（F^3A）模块捕捉时间和频率上下文信息。此外，为了更真实地评估语音分离模型在复杂声学环境中的性能，我们引入了一个名为EchoSet的新数据集。该数据集包含噪声和更真实的混响（例如考虑物体遮挡和材料特性），其中两个说话者的语音以随机比例重叠。实验结果表明，TIGER在EchoSet数据集上的推理速度和分离质量均显著优于最先进的（SOTA）模型TF-GridNet，同时将参数数量减少了94.3%，MACs减少了95.3%。这些结果表明，通过利用频带分割和交错建模结构，TIGER在保持高性能的同时大幅减少了参数和计算成本。值得注意的是，TIGER是首个参数少于100万且性能接近SOTA模型的语音分离模型。

TIGER

TIGER模型架构及其模块的整体流程。

结果

TIGER与其他现有分离模型在Libri2Mix、LRS2-2Mix和EchoSet上的性能比较。粗体表示最优性能，斜体表示次优性能。

TIGER与其他模型的效率比较。

电影音效分离模型在DnR上的性能和效率比较。'*'表示结果来自DnR的原始论文。

📦 安装

git clone https://github.com/JusperLee/TIGER.git
cd TIGER
pip install -r requirements.txt

🚀 快速开始

使用预训练模型测试

# 使用语音测试
python inference_speech.py --audio_path test/mix.wav

# 使用DnR测试
python inference_dnr.py --audio_path test/test_mixture_466.wav

使用EchoSet训练

python audio_train.py --conf_dir configs/tiger.yml

使用EchoSet评估

python audio_test.py --conf_dir configs/tiger.yml

📖 引用

@article{xu2024tiger,
  title={TIGER: Time-frequency Interleaved Gain Extraction and Reconstruction for Efficient Speech Separation},
  author={Xu, Mohan and Li, Kai and Chen, Guo and Hu, Xiaolin},
  journal={arXiv preprint arXiv:2410.01469},
  year={2024}
}

📧 联系

如有任何问题，请通过tsinghua.kaili@gmail.com联系我们。