语言: 英语
数据集:

• librispeech_asr
  标签:
• 音频
• 语音
• 自动语音识别
• hf-asr-leaderboard
  许可证: apache-2.0
  示例:
• 示例标题: Librispeech 样本 1
  来源: https://cdn-media.huggingface.co/speech_samples/sample1.flac
• 示例标题: Librispeech 样本 2
  来源: https://cdn-media.huggingface.co/speech_samples/sample2.flac
  模型索引:
• 名称: sew-d-mid-400k-ft-ls100h
  结果:
  • 任务:
    名称: 自动语音识别
    类型: automatic-speech-recognition
    数据集:
    名称: LibriSpeech (clean)
    类型: librispeech_asr
    配置: clean
    分割: test
    参数:
    语言: en
    指标:
    • 名称: 测试 WER
      类型: wer
      值: 4.94
  • 任务:
    名称: 自动语音识别
    类型: automatic-speech-recognition
    数据集:
    名称: LibriSpeech (other)
    类型: librispeech_asr
    配置: other
    分割: test
    参数:
    语言: en
    指标:
    • 名称: 测试 WER
      类型: wer
      值: 11.51

SEW-D-mid

SEW-D by ASAPP Research

该基础模型在16kHz采样的语音音频上进行了预训练。使用该模型时，请确保您的语音输入也以16kHz采样。请注意，该模型应在下游任务（如自动语音识别、说话人识别、意图分类、情感识别等）上进行微调。

论文: 语音识别无监督预训练中的性能-效率权衡

作者: Felix Wu, Kwangyoun Kim, Jing Pan, Kyu Han, Kilian Q. Weinberger, Yoav Artzi

摘要
本文研究了自动语音识别（ASR）预训练模型中的性能-效率权衡。我们以wav2vec 2.0为重点，形式化了几种影响模型性能及其效率的架构设计。综合所有观察结果，我们提出了SEW（Squeezed and Efficient Wav2vec），这是一种预训练模型架构，在各种训练设置中均显著提升了性能和效率。例如，在LibriSpeech的100h-960h半监督设置下，SEW相比wav2vec 2.0实现了1.9倍的推理加速，同时词错误率相对降低了13.5%。在相似的推理时间下，SEW在不同模型大小上减少了25-50%的词错误率。

原始模型可在以下链接找到: https://github.com/asappresearch/sew#model-checkpoints

使用方法

要将音频文件转录为文本，可以按以下方式使用该模型作为独立的声学模型：

from transformers import Wav2Vec2Processor, SEWDForCTC
from datasets import load_dataset
import soundfile as sf
import torch

# 加载模型和预处理器
processor = Wav2Vec2Processor.from_pretrained("asapp/sew-d-mid-400k-ft-ls100h")
model = SEWDForCTC.from_pretrained("asapp/sew-d-mid-400k-ft-ls100h")

# 加载包含语音样本的虚拟数据集
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")

# 预处理
input_values = processor(ds[0]["audio"]["array"], return_tensors="pt").input_values  # 批量大小为1

# 获取逻辑值
logits = model(input_values).logits

# 取argmax并解码
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)

评估

以下代码片段展示了如何在LibriSpeech的“clean”和“other”测试数据上评估asapp/sew-d-mid-400k-ft-ls100h。

from datasets import load_dataset
from transformers import SEWDForCTC, Wav2Vec2Processor
import torch
from jiwer import wer

librispeech_eval = load_dataset("librispeech_asr", "clean", split="test")

model = SEWDForCTC.from_pretrained("asapp/sew-d-mid-400k-ft-ls100h").to("cuda")
processor = Wav2Vec2Processor.from_pretrained("asapp/sew-d-mid-400k-ft-ls100h")

def map_to_pred(batch):
    input_values = processor(batch["audio"][0]["array"], sampling_rate=16000, 
                             return_tensors="pt", padding="longest").input_values
    with torch.no_grad():
        logits = model(input_values.to("cuda")).logits

    predicted_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(predicted_ids)
    batch["transcription"] = transcription
    return batch

result = librispeech_eval.map(map_to_pred, batched=True, batch_size=1, remove_columns=["audio"])

print("WER:", wer(result["text"], result["transcription"]))

结果（WER）: