许可协议: cc-by-nc-sa-4.0 任务标签: 音频分类 标签:

• 音乐
• 音频

模型卡片：基于AudioSet的预训练音频表征模型

概述

本模型卡片介绍了ALM发布的预训练音频表征模型相关信息。这些模型在完整AudioSet数据集上进行预训练，适用于通用音频表征学习（ARL）任务。

模型列表

1. ALM/hubert-base-audioset

• 架构: 基于HuBERT（Hubert-Base）的Transformer模型
• 描述: 该模型基于HuBERT架构，在完整AudioSet数据集上进行预训练。

2. ALM/hubert-large-audioset

• 架构: 基于HuBERT（Hubert-Large）的Transformer模型
• 描述: 与hubert-base-audioset模型类似，该变体具有更大规模，能够从完整AudioSet数据集中提取更丰富的音频表征。

3. ALM/wav2vec2-base-audioset

• 架构: 基于Wav2Vec 2.0（Wav2Vec2-Base）的Transformer模型
• 描述: 该模型基于Wav2Vec 2.0架构，使用CPC自监督学习在完整AudioSet数据集上训练。与HuBERT模型相比，它提供了不同的音频表征学习方法。

4. ALM/wav2vec2-large-audioset

• 架构: 基于Wav2Vec 2.0（Wav2Vec2-Large）的Transformer模型
• 描述: 与wav2vec2-base-audioset模型类似，该变体具有更大规模，能够从完整AudioSet数据集中学习更强大的音频表征。

使用场景

这些预训练模型适用于广泛的ARL任务，包括但不限于语音识别、音乐分类和声学事件检测。它们可作为强大的特征提取工具，并可在特定任务数据集上进行微调以适应下游应用。 需要注意的是，虽然这些模型在各类音频领域具有通用性，但在语音相关任务上的性能可能低于专用模型（如原始Wav2Vec和HuBERT模型）。 这是由于预训练使用的AudioSet数据集具有多样性，包含大量非语音类音频数据。

局限性与注意事项

• 模型在完整AudioSet数据集上预训练，该数据集可能无法全面覆盖所有音频领域
• 针对特定领域任务可能需要进行微调以获得最佳性能
• 部署和微调这些模型（尤其是大型变体）可能需要较多计算资源

引用规范

若在研究中使用了这些预训练模型，请引用以下文献：

@INPROCEEDINGS{ARCH,
  author={La Quatra, Moreno and Koudounas, Alkis and Vaiani, Lorenzo and Baralis, Elena and Cagliero, Luca and Garza, Paolo and Siniscalchi, Sabato Marco},
  booktitle={2024 IEEE International Conference on Acoustics, Speech, and Signal Processing Workshops (ICASSPW)}, 
  title={Benchmarking Representations for Speech, Music, and Acoustic Events}, 
  year={2024},
  pages={505-509},
  keywords={Representation learning; Systematics; Conferences; Benchmark testing; Signal processing; Acoustics; Data models; Audio Representation Learning; Benchmark; Pre-trained Models; Self-Supervised Learning},
  doi={10.1109/ICASSPW62465.2024.10625960}
}

arXiv版本: arxiv.org/abs/2405.00934