语言: 英文
数据集:

• librispeech_asr
  标签:
• 语音
  许可证: apache-2.0

SEW-tiny 模型

由ASAPP Research开发的SEW

该基础模型基于16kHz采样的语音音频进行预训练。使用该模型时，请确保输入的语音数据同样以16kHz采样。需要注意的是，此模型需在下游任务（如自动语音识别、说话人识别、意图分类、情感识别等）上进行微调。

研究论文: 语音识别无监督预训练中的性能-效率权衡

作者: Felix Wu, Kwangyoun Kim, Jing Pan, Kyu Han, Kilian Q. Weinberger, Yoav Artzi

摘要
本文研究了自动语音识别(ASR)预训练模型中的性能-效率权衡问题。我们以wav2vec 2.0为研究对象，系统化分析了影响模型性能和效率的多种架构设计。综合所有研究发现，我们提出了SEW（压缩高效型wav2vec）——一种在各种训练配置下均能显著提升性能和效率的预训练模型架构。例如，在LibriSpeech数据集100h-960h半监督训练配置下，SEW相比wav2vec 2.0实现了1.9倍的推理加速，同时词错误率相对降低13.5%。在相近推理时间条件下，SEW在不同模型规模下可降低25-50%的词错误率。

原始模型参见: https://github.com/asappresearch/sew#model-checkpoints

使用指南

更多关于模型微调的信息请参阅此博客。注意需将Wav2Vec2ForCTC类替换为SEWForCTC。