许可协议：apache-2.0
数据集：

• AudioSet
  评估指标：
• mAP
  任务标签：音频分类

CED-Mini 模型

CED是基于ViT-Transformer的轻量级音频标记模型，在Audioset上实现了最先进的性能表现。

与其他模型的显著差异包括：

1. 微调简化：梅尔频谱图的批归一化处理。微调时无需预先计算数据集的均值/方差（AST等模型通常需要此步骤）。
2. 可变长度输入支持：多数模型使用静态时频位置编码，限制了模型对短于10秒片段的泛化能力。传统方案通过填充至10秒避免性能损失，但会大幅降低训练/推理速度。
3. 训练/推理加速：采用64维梅尔滤波器组和16x16无重叠分块，10秒频谱图仅生成248个块。相比之下，AST使用128维梅尔滤波器组和16x16（10x10重叠）卷积，产生1212个块。CED-Tiny在普通CPU上的速度堪比MobileNetV3。
4. 性能优势：仅1000万参数的CED模型超越多数先前约8000万参数的方案。

模型来源

• 原始仓库：https://github.com/RicherMans/CED
• 衍生仓库：https://github.com/jimbozhang/hf_transformers_custom_model_ced
• 论文：CED: 音频标记的一致性集成蒸馏
• 演示：https://huggingface.co/spaces/mispeech/ced-base

安装

pip install git+https://github.com/jimbozhang/hf_transformers_custom_model_ced.git  

推理示例

>>> from ced_model.feature_extraction_ced import CedFeatureExtractor  
>>> from ced_model.modeling_ced import CedForAudioClassification  

>>> model_name = "mispeech/ced-mini"  
>>> feature_extractor = CedFeatureExtractor.from_pretrained(model_name)  
>>> model = CedForAudioClassification.from_pretrained(model_name)  

>>> import torchaudio  
>>> audio, sampling_rate = torchaudio.load("resources/JeD5V5aaaoI_931_932.wav")  
>>> assert sampling_rate == 16000  
>>> inputs = feature_extractor(audio, sampling_rate=sampling_rate, return_tensors="pt")  

>>> import torch  
>>> with torch.no_grad():  
...     logits = model(**inputs).logits  

>>> predicted_class_id = torch.argmax(logits, dim=-1).item()  
>>> model.config.id2label[predicted_class_id]  
'响指声'  

微调指南

example_finetune_esc50.ipynb 展示了如何在冻结CED编码器的情况下，针对ESC-50数据集训练线性分类头。