语言: 中文
数据集:

• 通用语音
• 大众之声
  多语言支持:
• 多语言
  标签:
• 语音
  许可证: Apache-2.0

M-CTC-T

Meta AI推出的大规模多语言语音识别模型。该模型为10亿参数Transformer编码器架构，配备覆盖8065个字符标签的CTC头部及支持60种语言识别的分类头部。其训练数据源自通用语音（版本6.1，2020年12月发布）和大众之声语料库。在联合训练后，模型额外进行了通用语音数据的专项训练。标签采用未标准化的字符级转录文本（保留标点符号与大小写）。模型输入为16kHz音频信号提取的梅尔滤波器组特征。

原始Flashlight代码、模型检查点及Colab笔记本详见：
https://github.com/flashlight/wav2letter/tree/main/recipes/mling_pl

引用文献

论文

作者：Loren Lugosch, Tatiana Likhomanenko, Gabriel Synnaeve, Ronan Collobert

@article{lugosch2021pseudo,
  title={Pseudo-Labeling for Massively Multilingual Speech Recognition},
  author={Lugosch, Loren and Likhomanenko, Tatiana and Synnaeve, Gabriel and Collobert, Ronan},
  journal={ICASSP},
  year={2022}
}

贡献鸣谢

特别感谢Chan Woo Kim将模型从Flashlight C++迁移至PyTorch框架。

训练方法

关于模型训练细节，请参阅官方论文。

使用指南

可通过以下方式作为独立声学模型进行音频转录：

import torch
import torchaudio
from datasets import load_dataset
from transformers import MCTCTForCTC, MCTCTProcessor

model = MCTCTForCTC.from_pretrained("speechbrain/m-ctc-t-large")
processor = MCTCTProcessor.from_pretrained("speechbrain/m-ctc-t-large")

# 加载示例数据集并读取音频
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
 
# 特征提取
input_features = processor(ds[0]["audio"]["array"], sampling_rate=ds[0]["audio"]["sampling_rate"], return_tensors="pt").input_features 

# 获取逻辑值
with torch.no_grad():
    logits = model(input_features).logits

# 取最大值并解码
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)

通用语音测试集平均结果：

字符错误率(CER):

问题支持

如有疑问或需要帮助，
建议在本仓库提交讨论或拉取请求，
并标注@lorenlugosch、@cwkeam或@patrickvonplaten