语言:

• 阿拉伯语
• 巴斯克语
• 布列塔尼语
• 加泰罗尼亚语
• 楚瓦什语
• 捷克语
• 迪维希语
• 荷兰语
• 英语
• 世界语
• 爱沙尼亚语
• 法语
• 弗里斯兰语
• 格鲁吉亚语
• 德语
• 希腊语
• 哈卡钦语
• 印度尼西亚语
• 国际语
• 意大利语
• 日语
• 卡拜尔语
• 卢旺达语
• 吉尔吉斯语
• 拉脱维亚语
• 马耳他语
• 蒙古语
• 波斯语
• 波兰语
• 葡萄牙语
• 罗马尼亚语
• 罗曼什语
• 俄语
• 萨哈语
• 斯洛文尼亚语
• 西班牙语
• 瑞典语
• 泰米尔语
• 鞑靼语
• 土耳其语
• 乌克兰语
• 威尔士语 语言BCP47:
• 简体中文
• 繁体中文(香港)
• 繁体中文(台湾) 缩略图: 标签:
• 音频分类
• 语音大脑
• 嵌入
• 语言
• 识别
• PyTorch
• ECAPA-TDNN
• TDNN
• 通用语言 许可证: "Apache-2.0" 数据集:
• 城市声音8k 指标:
• 准确率 小部件:
• 示例标题: 英语样本 src: https://cdn-media.huggingface.co/speech_samples/LibriSpeech_61-70968-0000.flac

基于ECAPA嵌入的通用语言语音识别

本仓库提供使用SpeechBrain进行语音记录语言识别的全套工具。该系统采用在通用语言数据集（45种语言）上预训练的模型。您可在此下载数据集。该系统可从短语音记录中识别以下45种语言：

阿拉伯语、巴斯克语、布列塔尼语、加泰罗尼亚语、简体中文、繁体中文(香港)、繁体中文(台湾)、楚瓦什语、捷克语、迪维希语、荷兰语、英语、世界语、爱沙尼亚语、法语、弗里斯兰语、格鲁吉亚语、德语、希腊语、哈卡钦语、印度尼西亚语、国际语、意大利语、日语、卡拜尔语、卢旺达语、吉尔吉斯语、拉脱维亚语、马耳他语、蒙古语、波斯语、波兰语、葡萄牙语、罗马尼亚语、罗曼什语、俄语、萨哈语、斯洛文尼亚语、西班牙语、瑞典语、泰米尔语、鞑靼语、土耳其语、乌克兰语、威尔士语

为获得最佳体验，建议您深入了解SpeechBrain。该模型在测试集上的表现如下：

流程说明

该系统由ECAPA模型结合统计池化构成，顶部应用了采用分类交叉熵损失训练的分类器。

系统训练采用16kHz采样率（单声道）的录音。调用classify_file时，代码会自动标准化音频（如重采样+单声道选择）。若使用encode_batch和classify_batch，请确保输入张量符合预期采样率。

安装SpeechBrain

首先，请运行以下命令安装SpeechBrain：

pip install speechbrain

请注意，我们建议您阅读教程以深入了解SpeechBrain。

执行语音记录语言识别

import torchaudio
from speechbrain.inference.classifiers import EncoderClassifier
classifier = EncoderClassifier.from_hparams(source="speechbrain/lang-id-commonlanguage_ecapa", savedir="pretrained_models/lang-id-commonlanguage_ecapa")
# 意大利语示例
out_prob, score, index, text_lab = classifier.classify_file('speechbrain/lang-id-commonlanguage_ecapa/example-it.wav')
print(text_lab)

# 法语示例
out_prob, score, index, text_lab = classifier.classify_file('speechbrain/lang-id-commonlanguage_ecapa/example-fr.wav')
print(text_lab)

GPU推理

若需在GPU上执行推理，调用from_hparams方法时添加run_opts={"device":"cuda"}参数。

训练

该模型使用SpeechBrain(a02f860e)训练。从头开始训练的步骤如下：

1. 克隆SpeechBrain：

git clone https://github.com/speechbrain/speechbrain/

2. 安装：

cd speechbrain
pip install -r requirements.txt
pip install -e .

3. 运行训练：

cd recipes/CommonLanguage/lang_id
python train.py hparams/train_ecapa_tdnn.yaml --data_folder=your_data_folder

训练结果（模型、日志等）可在此查看。

局限性

SpeechBrain团队不对该模型在其他数据集上的表现提供任何保证。

引用ECAPA

  author    = {Brecht Desplanques and
               Jenthe Thienpondt and
               Kris Demuynck},
  editor    = {Helen Meng and
               Bo Xu and
               Thomas Fang Zheng},
  title     = {{ECAPA-TDNN:} Emphasized Channel Attention, Propagation and Aggregation
               in {TDNN} Based Speaker Verification},
  booktitle = {Interspeech 2020},
  pages     = {3830--3834},
  publisher = {{ISCA}},
  year      = {2020},
}

引用SpeechBrain

若您将SpeechBrain用于研究或商业用途，请予以引用。

@misc{speechbrain,
  title={{SpeechBrain}: A General-Purpose Speech Toolkit},
  author={Mirco Ravanelli and Titouan Parcollet and Peter Plantinga and Aku Rouhe and Samuele Cornell and Loren Lugosch and Cem Subakan and Nauman Dawalatabad and Abdelwahab Heba and Jianyuan Zhong and Ju-Chieh Chou and Sung-Lin Yeh and Szu-Wei Fu and Chien-Feng Liao and Elena Rastorgueva and François Grondin and William Aris and Hwidong Na and Yan Gao and Renato De Mori and Yoshua Bengio},
  year={2021},
  eprint={2106.04624},
  archivePrefix={arXiv},
  primaryClass={eess.AS},
  note={arXiv:2106.04624}
}