语言: 英语 数据集:

• librispeech_asr 标签:
• 语音
• 音频
• 自动语音识别
• hf-asr-leaderboard 许可证: apache-2.0

采用旋转位置嵌入的Wav2Vec2-Conformer-Large-100h模型

本模型为融合旋转位置嵌入的Wav2Vec2 Conformer架构，基于Librispeech 960小时数据预训练，并在Librispeech 100小时16kHz采样率的语音数据上微调。使用时请确保输入语音同样以16kHz采样。

论文: fairseq S2T：基于fairseq的快速语音到文本建模

作者: 王昌汉、唐云、马旭泰、吴安妮、Sravya Popuri、Dmytro Okhonko、Juan Pino

模型性能指标详见原始论文表3与表4。

原始代码库参见 https://github.com/pytorch/fairseq/tree/master/examples/wav2vec#wav2vec-20。

使用说明

作为独立声学模型进行音频转录的示例：

 from transformers import Wav2Vec2Processor, Wav2Vec2ConformerForCTC
 from datasets import load_dataset
 import torch
 
 # 加载处理器与模型
 processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-conformer-rope-large-100h-ft")
 model = Wav2Vec2ConformerForCTC.from_pretrained("facebook/wav2vec2-conformer-rope-large-100h-ft")
     
 # 加载示例数据集并读取音频
 ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
 
 # 特征处理
 input_values = processor(ds[0]["audio"]["array"], return_tensors="pt", padding="longest").input_values
 
 # 获取逻辑值
 logits = model(input_values).logits
 
 # 解码输出
 predicted_ids = torch.argmax(logits, dim=-1)
 transcription = processor.batch_decode(predicted_ids)