语言: 中文
数据集:

• librispeech_asr
  标签:
• 音频
• 语音
• 自动语音识别
• hf-asr排行榜
  许可证: apache-2.0
  示例:
• 示例标题: Librispeech样本1 源地址: https://cdn-media.huggingface.co/speech_samples/sample1.flac
• 示例标题: Librispeech样本2 源地址: https://cdn-media.huggingface.co/speech_samples/sample2.flac
  模型索引:
• 名称: sew-tiny-100k-ft-ls100h 结果:
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: LibriSpeech (干净) 类型: librispeech_asr 配置: clean 拆分: test 参数: 语言: en 指标:
    • 名称: 测试WER 类型: wer 值: 10.61
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: LibriSpeech (其他) 类型: librispeech_asr 配置: other 拆分: test 参数: 语言: en 指标:
    • 名称: 测试WER 类型: wer 值: 23.74

SEW微型模型

由ASAPP Research开发的SEW

该基础模型基于16kHz采样的语音音频进行预训练。使用该模型时，请确保您的语音输入同样以16kHz采样。请注意，此模型需在下游任务（如自动语音识别、说话人识别、意图分类、情感识别等）上进行微调。

论文: 语音识别无监督预训练中的性能-效率权衡

作者: Felix Wu, Kwangyoun Kim, Jing Pan, Kyu Han, Kilian Q. Weinberger, Yoav Artzi

摘要
本文研究了自动语音识别(ASR)预训练模型中的性能-效率权衡问题。我们聚焦于wav2vec 2.0，系统化分析了影响模型性能和效率的多种架构设计。综合所有观察结果，我们提出了SEW（压缩高效版Wav2vec），这种预训练模型架构在各种训练配置下均实现了性能和效率维度的显著提升。例如，在LibriSpeech的100h-960h半监督配置下，SEW相比wav2vec 2.0实现了1.9倍的推理加速，同时词错误率相对降低13.5%。在相近推理时间下，SEW在不同模型规模上实现了25-50%的词错误率降低。

原始模型可在https://github.com/asappresearch/sew#model-checkpoints获取。

使用说明

作为独立声学模型转录音频文件的方法如下：

from transformers import Wav2Vec2Processor, SEWForCTC
from datasets import load_dataset
import soundfile as sf
import torch
 
# 加载模型和预处理器
processor = Wav2Vec2Processor.from_pretrained("asapp/sew-tiny-100k-ft-ls100h")
model = SEWForCTC.from_pretrained("asapp/sew-tiny-100k-ft-ls100h")

# 加载带语音样本的虚拟数据集
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
 
# 预处理
input_values = processor(ds[0]["audio"]["array"], return_tensors="pt").input_values  # 批大小为1

# 获取逻辑值
logits = model(input_values).logits
 
# 取argmax并解码
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)

评估

此代码片段展示如何在LibriSpeech的"clean"和"other"测试数据上评估asapp/sew-tiny-100k-ft-ls100h。

from datasets import load_dataset
from transformers import SEWForCTC, Wav2Vec2Processor
import torch
from jiwer import wer

librispeech_eval = load_dataset("librispeech_asr", "clean", split="test")

model = SEWForCTC.from_pretrained("asapp/sew-tiny-100k-ft-ls100h").to("cuda")
processor = Wav2Vec2Processor.from_pretrained("asapp/sew-tiny-100k-ft-ls100h")

def map_to_pred(batch):
    input_values = processor(batch["audio"][0]["array"], sampling_rate=16000, 
                             return_tensors="pt", padding="longest").input_values
    with torch.no_grad():
        logits = model(input_values.to("cuda")).logits

    predicted_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(predicted_ids)
    batch["transcription"] = transcription
    return batch

result = librispeech_eval.map(map_to_pred, batched=True, batch_size=1, remove_columns=["audio"])

print("WER:", wer(result["text"], result["transcription"]))

结果(WER):