library_name: tf-keras
tags:

• 音频分类
• 口音分类

模型描述

该模型通过从Yamnet提取特征，对英国和爱尔兰口音进行分类。

Yamnet模型

Yamnet是一个基于AudioSet数据集训练的音频事件分类器，用于预测AudioSet本体中的音频事件。该模型可在TensorFlow Hub上获取。
Yamnet接收采样率为16 kHz的一维音频样本张量作为输入。
模型输出为一个三元组：

• 形状为(N, 521)的分数矩阵，表示521个类别的得分。
• 形状为(N, 1024)的嵌入向量。
• 整个音频帧的对数梅尔频谱图。

我们将使用从音频样本中提取的嵌入向量作为密集模型的输入特征。

关于Yamnet的更多详细信息，请参考其TensorFlow Hub页面。

密集模型

我们使用的密集模型结构如下：

• 输入层：Yamnet分类器的嵌入输出。
• 4个密集隐藏层和4个Dropout层。
• 输出密集层。

训练与评估数据

使用的数据集是
众包高质量英国和爱尔兰英语方言语音数据集，
共包含17,877个高质量音频wav文件。

该数据集包含来自120名志愿者的超过31小时的录音，这些志愿者自认为是英格兰南部、中部、北部、威尔士、苏格兰和爱尔兰的母语使用者。

更多信息，请参考上述链接或以下论文：
不列颠群岛英语口音的开源多说话人语料库

训练过程

训练超参数

训练指标

模型结构图

验证结果

模型在验证数据集上取得以下结果：

验证集的混淆矩阵如下：

致谢

作者：Fadi Badine。
基于Fadi Badine的Keras示例使用迁移学习的英语口音识别。
查看演示空间此处。