语言: 英语
数据集:

• librispeech_asr
• common_voice
  标签:
• 语音
  许可证: apache-2.0

M-CTC-T

Meta AI 推出的大规模多语言语音识别模型。该模型为10亿参数量的Transformer编码器，配备了一个覆盖8065个字符标签的CTC头部和一个覆盖60种语言ID标签的语言识别头部。其训练数据来源于Common Voice（2020年12月发布的6.1版本）和VoxPopuli。在完成对这两个数据集的训练后，模型仅针对Common Voice进行了进一步训练。标签采用未归一化的字符级转录文本（保留标点符号和大小写）。模型输入为16kHz音频信号提取的梅尔滤波器组特征。

原始Flashlight代码、模型检查点及Colab笔记本可在以下链接获取：
https://github.com/flashlight/wav2letter/tree/main/recipes/mling_pl

引用文献

论文

作者：Loren Lugosch, Tatiana Likhomanenko, Gabriel Synnaeve, Ronan Collobert

@article{lugosch2021pseudo,  
  title={Pseudo-Labeling for Massively Multilingual Speech Recognition},  
  author={Lugosch, Loren and Likhomanenko, Tatiana and Synnaeve, Gabriel and Collobert, Ronan},  
  journal={ICASSP},  
  year={2022}  
}  

特别感谢Chan Woo Kim和Patrick von Platen将模型从Flashlight移植至PyTorch。

训练方法

待替换：需更新为论文中的训练流程图

如需了解模型训练详情，请参阅官方论文。

使用方式

该模型可作为独立声学模型转录音频文件，示例如下：

import torch  
import torchaudio  
from datasets import load_dataset  
from transformers import MCTCTForCTC, MCTCTProcessor  

model = MCTCTForCTC.from_pretrained("speechbrain/mctct-large")  
processor = MCTCTProcessor.from_pretrained("speechbrain/mctct-large")  

# 加载示例数据集并读取音频文件  
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")  

# 特征标记化  
input_features = processor(ds[0]["audio"]["array"], return_tensors="pt").input_features   

# 获取逻辑值  
logits = model(input_features).logits  

# 取最大值并解码  
predicted_ids = torch.argmax(logits, dim=-1)  
transcription = processor.batch_decode(predicted_ids)  

Common Voice数据集上的平均表现结果（所有语言）：

字符错误率（CER）: