license: apache-2.0 tags:

• 音频
• 音频分类

大声：大规模通用音频编码器

大声（Deep Audio-Signal Holistic Embeddings，简称“大声”），是一个基于大规模自监督学习任务训练的通用音频编码器。该模型旨在捕捉跨语音、音乐和环境音等多领域的丰富音频信息，其训练数据涵盖272,356小时的多样化音频，参数量达12亿，并在HEAR基准测试中展现出显著性能提升。大声在CREMA-D、LibriCount、Speech Commands、VoxLingua等任务上超越先前成果，同时在音乐和环境音分类任务中表现优异。

原始代码库: https://github.com/XiaoMi/dasheng

使用指南

安装

pip install git+https://github.com/jimbozhang/hf_transformers_custom_model_dasheng.git

推理示例

>>> 模型名称 = "mispeech/dasheng-1.2B"

>>> from dasheng_model.feature_extraction_dasheng import DashengFeatureExtractor
>>> from dasheng_model.modeling_dasheng import DashengModel

>>> 特征提取器 = DashengFeatureExtractor.from_pretrained(模型名称)
>>> 模型 = DashengModel.from_pretrained(模型名称, outputdim=None)  # 当`outputdim`为`None`时不加载线性输出层

>>> import torchaudio
>>> 音频, 采样率 = torchaudio.load("resources/JeD5V5aaaoI_931_932.wav")
>>> assert 采样率 == 16000
>>> 音频.shape
torch.Size([1, 16000])   # 单声道1秒音频

>>> 输入 = 特征提取器(音频, sampling_rate=采样率, return_tensors="pt")
>>> 输入.input_values.shape
torch.Size([1, 64, 101])   # 64维梅尔滤波器组，101帧

>>> import torch
>>> with torch.no_grad():
...     输出 = 模型(**输入)

>>> 输出.hidden_states.shape
torch.Size([1, 25, 768])   # 25个时频块（块尺寸64x4，无重叠），均值池化前状态

>>> 输出.logits.shape
torch.Size([1, 768])   # 均值池化后的嵌入向量（若设置`outputdim`则输出线性层logits）

微调教程

example_finetune_esc50.ipynb 演示了如何在冻结大声编码器的前提下，基于ESC-50数据集训练线性分类头。

引用

如果您的研究中使用了大声音频编码器，请引用以下论文：

@inproceedings{dinkel2023scaling,
  title={规模化掩码音频编码器学习在通用音频分类中的应用},
  author={丁克尔, 海因里希 and 严, 志勇 and 王, 永庆 and 张, 俊波 and 王, 玉军 and 王, 斌},
  booktitle={Interspeech 2024},
  year={2024}
}