pipeline_tag: 音频转音频 tags:

• 音频 license: apache-2.0 language:
• en

阿波罗：基于频带序列建模的高质量音频修复

徐默涵^*, 李凯^*, 陈果, 胡晓林
清华大学, 中国北京
^*同等贡献
📜 ICLR 2025 | 🎶 演示 | 🤗 数据集

TIGER是一款轻量级语音分离模型，通过频带分割、多尺度和全频帧建模有效提取关键声学特征。

💥 最新动态

• [2025-01-23] 我们发布了TIGER的代码和预训练模型！🚀
• [2025-01-23] 我们发布了TIGER模型和EchoSet数据集！🚀

📜 摘要

本文提出了一种参数规模和计算成本显著降低的语音分离模型：时频交错增益提取与重建网络（TIGER）。TIGER利用先验知识划分频带并对频率信息进行压缩。我们采用多尺度选择性注意力（MSA）模块提取上下文特征，同时引入全频帧注意力（F^3A）模块捕获时频上下文信息。此外，为更真实评估语音分离模型在复杂声学环境中的表现，我们提出了名为EchoSet的新型数据集。该数据集包含噪声和更真实的混响（如考虑物体遮挡和材料特性），其中两位说话人的语音以随机比例重叠。实验结果表明，TIGER在EchoSet数据集上的推理速度和分离质量均显著优于当前最优（SOTA）模型TF-GridNet，同时参数数量减少94.3%，MACs降低95.3%。这些结果表明，通过采用频带分割和交错建模结构，TIGER在保持高性能的同时实现了参数和计算成本的大幅降低。值得注意的是，TIGER是首个参数不足百万却能实现接近SOTA模型性能的语音分离模型。

🚀 快速开始

使用预训练模型测试

# 语音测试
python inference_speech.py --audio_path test/mix.wav

# 降噪与混响消除测试
python inference_dnr.py --audio_path test/test_mixture_466.wav

使用EchoSet训练

python audio_train.py --conf_dir configs/tiger.yml

使用EchoSet评估

python audio_test.py --conf_dir configs/tiger.yml

📖 引用文献

@article{xu2024tiger,
  title={TIGER: 高效语音分离的时频交错增益提取与重建},
  author={徐默涵 and 李凯 and 陈果 and 胡晓林},
  journal={arXiv预印本 arXiv:2410.01469},
  year={2024}
}

📧 联系方式

如有任何疑问，请通过tsinghua.kaili@gmail.com联系我们。