language: zh datasets:

• librispeech_asr tags:
• 语音
• 音频
• 自动语音识别
• hf-asr-leaderboard license: apache-2.0

采用相对位置嵌入的Wav2Vec2-Conformer-Large-100h模型

Facebook的Wav2Vec2 Conformer模型（待补充链接）

本模型为Wav2Vec2 Conformer架构，采用相对位置嵌入技术，基于Librispeech 960小时语音数据进行预训练，并在Librispeech 100小时的16kHz采样语音数据上微调。使用时请确保输入语音同样以16kHz采样。

论文：fairseq S2T：基于fairseq的快速语音到文本建模

作者：王昌汉、唐云、马旭泰、吴安妮、Sravya Popuri、Dmytro Okhonko、Juan Pino

Wav2Vec2-Conformer的实验结果详见官方论文表3和表4。原始模型参见https://github.com/pytorch/fairseq/tree/master/examples/wav2vec#wav2vec-20。

使用说明

作为独立声学模型进行音频转录的示例：

 from transformers import Wav2Vec2Processor, Wav2Vec2ConformerForCTC
 from datasets import load_dataset
 import torch
 
 # 加载模型和处理器
 processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large-100h-ft")
 model = Wav2Vec2ConformerForCTC.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large-100h-ft")
     
 # 加载示例数据集并读取音频文件
 ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
 
 # 特征处理
 input_values = processor(ds[0]["audio"]["array"], return_tensors="pt", padding="longest").input_values
 
 # 获取逻辑值
 logits = model(input_values).logits
 
 # 取最大值并解码
 predicted_ids = torch.argmax(logits, dim=-1)
 transcription = processor.batch_decode(predicted_ids)