language: 多语言 datasets:

• common_voice tags:
• 语音
• 音频
• 自动语音识别
• 音素识别 widget:
• example_title: Librispeech 样本 1 src: https://cdn-media.huggingface.co/speech_samples/sample1.flac
• example_title: Librispeech 样本 2 src: https://cdn-media.huggingface.co/speech_samples/sample2.flac license: apache-2.0

基于多语言Common Voice微调的Wav2Vec2-Large-XLSR-53

该检查点利用了预训练检查点wav2vec2-large-xlsr-53 并在CommonVoice上进行了微调，以识别多种语言的音素标签。

使用该模型时，请确保您的语音输入采样率为16kHz。 请注意，模型输出的是音素标签字符串。需要使用音素标签到单词的映射词典将音素输出标签转换为输出单词。

论文：简单有效的零样本跨语言音素识别

作者：Qiantong Xu, Alexei Baevski, Michael Auli

摘要 自训练、自监督预训练和无监督学习的最新进展使得无需任何标注数据即可实现高性能的语音识别系统。然而，在许多情况下，相关语言的标注数据是可用的，但这些方法并未利用这些数据。本文通过微调多语言预训练的wav2vec 2.0模型来转录未见过的语言，扩展了之前关于零样本跨语言迁移学习的工作。这是通过使用发音特征将训练语言的音素映射到目标语言来实现的。实验表明，这种简单的方法显著优于之前的工作，后者引入了特定任务的架构，并且仅使用了单语言预训练模型的一部分。

原始模型可以在以下链接找到：https://github.com/pytorch/fairseq/tree/master/examples/wav2vec#wav2vec-20。

使用方法

要将音频文件转录为文本，可以按以下方式将模型用作独立的声学模型：

 from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
 from datasets import load_dataset
 import torch
 
 # 加载模型和处理器
 processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-xlsr-53-espeak-cv-ft")
 model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-xlsr-53-espeak-cv-ft")
     
 # 加载虚拟数据集并读取音频文件
 ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
 
 # 标记化
 input_values = processor(ds[0]["audio"]["array"], return_tensors="pt").input_values
 
 # 获取逻辑值
 with torch.no_grad():
   logits = model(input_values).logits
 
 # 取argmax并解码
 predicted_ids = torch.argmax(logits, dim=-1)
 transcription = processor.batch_decode(predicted_ids)
 # => 应输出 ['m ɪ s t ɚ k w ɪ l t ɚ ɪ z ð ɪ ɐ p ɑː s əl l ʌ v ð ə m ɪ d əl k l æ s ɪ z æ n d w iː aʊ ɡ l æ d t ə w ɛ l k ə m h ɪ z ɡ ɑː s p ə']