语言: 英文
数据集:

• libri_light
• common_voice
• switchboard
• fisher
  标签:
• 语音
• 音频
• 自动语音识别
  小部件示例:
• 示例标题: Librispeech样本1
  来源: https://cdn-media.huggingface.co/speech_samples/sample1.flac
• 示例标题: Librispeech样本2
  来源: https://cdn-media.huggingface.co/speech_samples/sample2.flac
  许可证: apache-2.0

基于Switchboard微调的Wav2Vec2-Large-Robust模型

Facebook的Wav2Vec2

此模型是wav2vec2-large-robust的微调版本，其预训练数据包括：

• Libri-Light：来自LibriVox项目的开源有声书；清晰、朗读的音频数据
• CommonVoice：众包收集的音频数据；朗读的文本片段
• Switchboard：电话语音语料库；含噪声的电话数据
• Fisher：电话对话语音；含噪声的电话数据

随后使用300小时的Switchboard电话语音语料库进行微调。

使用时请确保语音输入同样以16kHz采样。

鲁棒性Wav2Vec2论文

作者：Wei-Ning Hsu, Anuroop Sriram, Alexei Baevski, Tatiana Likhomanenko, Qiantong Xu, Vineel Pratap, Jacob Kahn, Ann Lee, Ronan Collobert, Gabriel Synnaeve, Michael Auli

摘要
语音表示的自监督学习一直是研究热点，但多数工作集中于单一领域（如有声书），这些领域存在大量标注和未标注数据。本文探索了更通用的场景：预训练未标注数据与微调标注数据来自不同领域，而测试数据领域可能又与前两者不同。实验表明，预训练阶段使用目标领域数据能显著提升各类场景下的性能。在大规模竞争性实验中，未标注目标领域数据的预训练将模型在领域内外标注数据上的性能差距缩小了66%-73%。这具有重要实践意义，因为获取未标注目标数据远比标注数据容易。此外，多领域预训练能提升模型在训练未见领域上的泛化性能。代码与模型将通过此链接发布。

原始模型参见：https://github.com/pytorch/fairseq/tree/master/examples/wav2vec#wav2vec-20

使用方式

作为独立声学模型转录音频文件的示例代码如下：

from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC  
from datasets import load_dataset  
import torch  

# 加载模型与处理器  
processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-large-robust-ft-swbd-300h")  
model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-large-robust-ft-swbd-300h")  

# 加载示例数据集并读取音频  
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")  

# 特征处理  
input_values = processor(ds[0]["audio"]["array"], return_tensors="pt", padding="longest").input_values  # 批大小为1  

# 获取逻辑值  
logits = model(input_values).logits  

# 取argmax并解码  
predicted_ids = torch.argmax(logits, dim=-1)  
transcription = processor.batch_decode(predicted_ids)