语言: 英语 数据集:

• libri-light
• librispeech_asr 标签:
• 语音
• 音频
• 自动语音识别
• hf-asr排行榜 许可证: apache-2.0 模型索引:
• 名称: hubert-large-ls960-ft 结果:
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: LibriSpeech (clean) 类型: librispeech_asr 配置: clean 拆分: test 参数: 语言: en 指标:
    • 名称: 测试WER 类型: wer 值: 1.8

Hubert超大规模微调模型

Facebook的Hubert

该超大规模模型基于16kHz采样的Librispeech 960小时语音数据进行微调。使用模型时，请确保输入的语音数据同样以16kHz采样。

该模型是hubert-xlarge-ll60k的微调版本。

论文

作者: 许维宁, Benjamin Bolte, 蔡曜鸿, Kushal Lakhotia, Ruslan Salakhutdinov, Abdelrahman Mohamed

摘要 语音表征学习的自监督方法面临三个独特挑战：(1) 每个输入话语包含多个声音单元，(2) 预训练阶段缺乏输入声音单元的词典，(3) 声音单元长度可变且无明确分割。为解决这些问题，我们提出隐单元BERT（HuBERT）自监督语音表征学习方法，通过离线聚类步骤为BERT式预测损失提供对齐目标标签。方法核心在于仅对掩码区域施加预测损失，迫使模型在连续输入上学习声学与语言模型的联合表征。HuBERT效果主要依赖于无监督聚类步骤的一致性，而非分配聚类标签的固有质量。从100簇的简单k-means教师开始，经过两轮聚类迭代后，HuBERT模型在Librispeech（960小时）和Libri-light（6万小时）基准测试中，使用10分钟、1小时、10小时、100小时和960小时微调子集时，均达到或超越当前最先进的wav2vec 2.0性能。采用10亿参数模型时，HuBERT在更具挑战性的dev-other和test-other评估子集上分别实现19%和13%的相对WER降低。

原始模型参见: https://github.com/pytorch/fairseq/tree/master/examples/hubert 。

使用方式

该模型可用于自动语音识别，示例如下：

import torch
from transformers import Wav2Vec2Processor, HubertForCTC
from datasets import load_dataset

processor = Wav2Vec2Processor.from_pretrained("facebook/hubert-xlarge-ls960-ft")
model = HubertForCTC.from_pretrained("facebook/hubert-xlarge-ls960-ft")
    
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")

input_values = processor(ds[0]["audio"]["array"], return_tensors="pt").input_values  # 批大小为1
logits = model(input_values).logits
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.decode(predicted_ids[0])

# ->"一人对宇宙说：先生，我存在"