许可协议：apache-2.0
数据集：

• AudioSet
  评估指标：
• mAP
  任务标签：音频分类

CED基础模型

CED是基于ViT-Transformer的简易音频标记模型，在Audioset上实现了最先进的性能表现。

与其他现有模型的显著差异包括：

1. 微调简化：采用梅尔频谱图的批归一化处理。微调时无需预先计算数据集的均值/方差（AST模型通常需要此步骤）。
2. 支持可变长度输入：多数模型使用静态时频位置编码，限制了模型对短于10秒片段的泛化能力。以往Transformer常通过填充至10秒来避免性能损失，但这会大幅降低训练/推理速度。
3. 训练/推理加速：采用64维梅尔滤波器组和16x16无重叠分块，10秒频谱图生成248个分块。相比之下，AST使用128维梅尔滤波器组和16x16（10x10重叠）卷积，训练/推理时产生1212个分块。CED-Tiny在普通CPU上的运行速度堪比MobileNetV3。
4. 性能优势：仅1000万参数的CED模型超越多数先前约8000万参数的方案。

模型来源

• 原始仓库：https://github.com/RicherMans/CED
• 仓库：https://github.com/jimbozhang/hf_transformers_custom_model_ced
• 论文：CED: 音频标记的一致性集成蒸馏
• 演示：https://huggingface.co/spaces/mispeech/ced-base

安装

pip install git+https://github.com/jimbozhang/hf_transformers_custom_model_ced.git  

推理示例

>>> from ced_model.feature_extraction_ced import CedFeatureExtractor  
>>> from ced_model.modeling_ced import CedForAudioClassification  

>>> model_name = "mispeech/ced-base"  
>>> feature_extractor = CedFeatureExtractor.from_pretrained(model_name)  
>>> model = CedForAudioClassification.from_pretrained(model_name)  

>>> import torchaudio  
>>> audio, 采样率 = torchaudio.load("resources/JeD5V5aaaoI_931_932.wav")  
>>> assert 采样率 == 16000  
>>> 输入 = feature_extractor(audio, sampling_rate=采样率, return_tensors="pt")  

>>> import torch  
>>> with torch.no_grad():  
...     逻辑值 = model(**输入).logits  

>>> 预测类别id = torch.argmax(逻辑值, dim=-1).item()  
>>> model.config.id2label[预测类别id]  
'打响指'  

微调

example_finetune_esc50.ipynb 展示了如何在冻结CED编码器的前提下，针对ESC-50数据集训练线性分类头。