数据集:

• agkphysics/AudioSet
• openslr/librispeech_asr 管道标签: 音频分类 许可证: bsd-3-clause 标签:
• 音频分类

自监督音频频谱图变换器（基于AudioSet/Librispeech预训练）

自监督音频频谱图变换器（SSAST）模型，带有未初始化的分类器头部。该模型由Gong等人在论文SSAST: Self-Supervised Audio Spectrogram Transformer中提出，并首次发布于此代码库。

免责声明：发布音频频谱图变换器的团队未为此模型编写模型卡。

模型描述

音频频谱图变换器等同于ViT，但应用于音频领域。音频首先被转换为图像（作为频谱图），然后应用视觉变换器。该模型在多个音频分类基准测试中取得了最先进的结果。

使用方法

该模型基于大量音频数据进行了预训练。由于分类器头部未初始化，请在使用前进行微调。