许可协议: apache-2.0
数据集:

• AudioSet
  评估指标:
• mAP
  任务标签: 音频分类

CED-Small 模型

CED是基于ViT-Transformer的简易音频标注模型，在Audioset上实现了最先进的性能表现。

与其他现有模型的显著差异包括：

1. 微调简化：梅尔频谱图的批归一化处理。微调时无需预先计算数据集的均值/方差（AST等模型通常需要此步骤）。
2. 支持可变长度输入：多数模型使用静态时频位置编码，限制了模型对短于10秒片段的泛化能力。以往Transformer常通过填充至10秒来避免性能损失，但这会大幅降低训练/推理速度。
3. 训练/推理加速：采用64维梅尔滤波器组和16x16无重叠分块，10秒频谱图生成248个分块。相比之下，AST使用128维梅尔滤波器组和16x16（10x10重叠）卷积，训练/推理时产生1212个分块。CED-Tiny在普通CPU上运行速度与MobileNetV3相当。
4. 性能优势：仅1000万参数的CED模型超越多数先前约8000万参数的方案。

模型来源

• 原始仓库：https://github.com/RicherMans/CED
• 本库地址：https://github.com/jimbozhang/hf_transformers_custom_model_ced
• 论文：CED: 音频标注的一致性集成蒸馏
• 演示：https://huggingface.co/spaces/mispeech/ced-base

安装

pip install git+https://github.com/jimbozhang/hf_transformers_custom_model_ced.git  

推理示例

>>> from ced_model.feature_extraction_ced import CedFeatureExtractor  
>>> from ced_model.modeling_ced import CedForAudioClassification  

>>> model_name = "mispeech/ced-small"  
>>> feature_extractor = CedFeatureExtractor.from_pretrained(model_name)  
>>> model = CedForAudioClassification.from_pretrained(model_name)  

>>> import torchaudio  
>>> audio, sampling_rate = torchaudio.load("resources/JeD5V5aaaoI_931_932.wav")  
>>> assert sampling_rate == 16000  
>>> inputs = feature_extractor(audio, sampling_rate=sampling_rate, return_tensors="pt")  

>>> import torch  
>>> with torch.no_grad():  
...     logits = model(**inputs).logits  

>>> predicted_class_id = torch.argmax(logits, dim=-1).item()  
>>> model.config.id2label[predicted_class_id]  
'响指声'  

微调指南

example_finetune_esc50.ipynb 展示了如何在冻结CED编码器的前提下，针对ESC-50数据集训练线性分类头。