许可证: cc-by-nc-sa-4.0 任务标签: 音频分类 标签:

• 音乐
• 音频

模型卡片：基于AudioSet预训练的音频表征模型

概述

本模型卡片介绍了ALM发布的预训练音频表征模型相关信息。这些模型基于完整的AudioSet数据集进行预训练，适用于通用音频表征学习(ARL)任务。

模型列表

1. ALM/hubert-base-audioset

• 架构: 基于HuBERT(Hubert-Base)的Transformer模型
• 描述: 该模型采用HuBERT架构，基于完整AudioSet数据集进行预训练

2. ALM/hubert-large-audioset

• 架构: HuBERT(Hubert-Large)的Transformer模型
• 描述: 与hubert-base-audioset模型类似，该变体规模更大，能够从完整AudioSet数据集中提取更丰富的音频表征

3. ALM/wav2vec2-base-audioset

• 架构: Wav2Vec 2.0(Wav2Vec2-Base)的Transformer模型
• 描述: 该模型基于Wav2Vec 2.0架构，使用对比预测编码(CPC)的自监督学习方式在完整AudioSet数据集上训练，与HuBERT模型相比提供了不同的音频表征学习方法

4. ALM/wav2vec2-large-audioset

• 架构: Wav2Vec 2.0(Wav2Vec2-Large)的Transformer模型
• 描述: 与wav2vec2-base-audioset模型类似，该变体规模更大，能够从完整AudioSet数据集中学习更强大的音频表征

使用场景

这些预训练模型适用于广泛的ARL任务，包括但不限于语音识别、音乐分类和声学事件检测。它们是强大的特征提取工具，可在下游应用中针对特定任务进行微调。 需要注意的是，虽然这些模型在各类音频领域具有通用性，但在语音相关任务上的表现可能略逊于专门的原始Wav2Vec和HuBERT模型。这是因为预训练使用的AudioSet数据集包含语音之外的多种音频来源，具有高度多样性。

局限性与注意事项

• 模型基于完整AudioSet数据集预训练，但该数据集可能无法全面覆盖所有音频领域
• 针对特定领域的任务可能需要进行微调以获得最佳性能
• 部署和微调这些模型（特别是较大规模的变体）可能需要较多计算资源

引用规范

若在研究中使用了这些预训练模型，请引用以下文献

@INPROCEEDINGS{ARCH,
  author={La Quatra, Moreno and Koudounas, Alkis and Vaiani, Lorenzo and Baralis, Elena and Cagliero, Luca and Garza, Paolo and Siniscalchi, Sabato Marco},
  booktitle={2024 IEEE International Conference on Acoustics, Speech, and Signal Processing Workshops (ICASSPW)}, 
  title={Benchmarking Representations for Speech, Music, and Acoustic Events}, 
  year={2024},
  pages={505-509},
  keywords={Representation learning; Systematics; Conferences; Benchmark testing; Signal processing; Acoustics; Data models; Audio Representation Learning; Benchmark; Pre-trained Models; Self-Supervised Learning},
  doi={10.1109/ICASSPW62465.2024.10625960}
}

arXiv版本: arxiv.org/abs/2405.00934