语言: 多语言 数据集:

• 通用语音 标签:
• 语音
• 音频
• 自动语音识别
• 音素识别 小部件:
• 示例标题: Librispeech 样本1 src: https://cdn-media.huggingface.co/speech_samples/sample1.flac
• 示例标题: Librispeech 样本2 src: https://cdn-media.huggingface.co/speech_samples/sample2.flac 许可证: apache-2.0

基于多语言通用语音微调的Wav2Vec2-Large-LV60模型

此检查点利用了预训练检查点wav2vec2-large-lv60，并在CommonVoice上进行了微调，以识别多种语言的音素标签。

使用该模型时，请确保您的语音输入采样率为16kHz。注意，模型输出的是音素标签字符串。需要使用音素标签到单词的映射词典，将音素输出标签转换为输出单词。

论文：简单有效的零样本跨语言音素识别

作者：Qiantong Xu, Alexei Baevski, Michael Auli

摘要 最近在自训练、自监督预训练和无监督学习方面的进展使得无需任何标注数据也能构建高性能的语音识别系统。然而，在许多情况下，相关语言有可用的标注数据，但这些方法并未利用这些数据。本文通过微调多语言预训练的wav2vec 2.0模型来转录未见过的语言，扩展了之前关于零样本跨语言迁移学习的工作。这是通过使用发音特征将训练语言的音素映射到目标语言来实现的。实验表明，这种简单的方法显著优于之前的工作，后者引入了特定任务的架构，并且仅使用了单语言预训练模型的一部分。

原始模型可以在https://github.com/pytorch/fairseq/tree/master/examples/wav2vec#wav2vec-20找到。

使用方法

要将音频文件转录为文本，可以按以下方式将模型用作独立的声学模型：

 from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
 from datasets import load_dataset
 import torch
 
 # 加载模型和处理器
 processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-lv-60-espeak-cv-ft")
 model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-lv-60-espeak-cv-ft")
     
 # 加载虚拟数据集并读取音频文件
 ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
 
 # 标记化
 input_values = processor(ds[0]["audio"]["array"], return_tensors="pt").input_values
 
 # 获取逻辑值
 with torch.no_grad():
   logits = model(input_values).logits
 
 # 取argmax并解码
 predicted_ids = torch.argmax(logits, dim=-1)
 transcription = processor.batch_decode(predicted_ids)
 # => 应输出 ['m ɪ s t ɚ k w ɪ l t ɚ ɹ ɪ z ð ɪ ɐ p ɑː s əl ʌ v ð ə m ɪ d əl k l æ s ᵻ z æ n d w iː ɑːɹ ɡ l æ d t ə w ɛ l k ə m h ɪ z ɡ ɑː s p əl']