语言: 英语
许可证: Apache-2.0
标签:

• 音频
• 自动语音识别
• 英语航空交通管制(en-atc)
• 英语(en)
• 训练生成
  数据集:
• Jzuluaga/uwb_atcc
  评估指标:
• 词错误率(wer)
  基础模型: facebook/wav2vec2-large-960h-lv60-self
  模型索引:
• 名称: wav2vec2-large-960h-lv60-self-en-atc-uwb-atcc
  结果:
  • 任务:
    类型: 自动语音识别
    名称: 语音识别
    数据集:
    名称: UWB-ATCC数据集(航空交通管制通信)
    类型: Jzuluaga/uwb_atcc
    配置: 测试集
    分割: 测试集
    评估指标:
    • 类型: 词错误率(wer)
      值: 17.2
      名称: 测试集词错误率
      已验证: 否
    • 类型: 词错误率(wer)
      值: 13.72
      名称: 测试集词错误率(带语言模型)
      已验证: 否
  • 任务:
    类型: 自动语音识别
    名称: 语音识别
    数据集:
    名称: ATCOSIM语料库(航空交通管制通信)
    类型: Jzuluaga/atcosim_corpus
    配置: 测试集
    分割: 测试集
    评估指标:
    • 类型: 词错误率(wer)
      值: 15.31
      名称: 测试集词错误率
      已验证: 否
    • 类型: 词错误率(wer)
      值: 11.88
      名称: 测试集词错误率(带语言模型)
      已验证: 否

wav2vec2-large-960h-lv60-self-en-atc-uwb-atcc

该模型是基于facebook/wav2vec2-large-960h-lv60-self在UWB-ATCC语料库上微调的版本。

在评估集上达到以下结果:

• 损失: 0.7287
• 词错误率: 0.1756

论文: 预训练Wav2Vec 2.0在领域偏移的ASR上表现如何？航空交通管制通信的广泛基准测试。

作者: Juan Zuluaga-Gomez, Amrutha Prasad, Iuliia Nigmatulina, Saeed Sarfjoo, Petr Motlicek, Matthias Kleinert, Hartmut Helmke, Oliver Ohneiser, Qingran Zhan

摘要: 最近关于自监督预训练的研究集中在利用大规模无标签语音数据构建鲁棒的端到端(E2E)声学模型(AM)，这些模型可以随后在下游任务(如自动语音识别(ASR))上进行微调。然而，很少有研究探讨当预训练和微调阶段的数据特性存在显著差异(称为领域偏移)时对性能的影响。我们通过分析Wav2Vec 2.0和XLS-R模型在完全未见领域——航空交通管制(ATC)通信的下游ASR上的鲁棒性来研究这一情景。我们在多个开源且具有挑战性的ATC数据库上对这两个模型进行基准测试，信噪比介于5至20 dB之间。仅通过使用较小比例的标签数据微调E2E声学模型，相对于基于混合的ASR基线，获得了20%至40%的相对词错误率(WER)降低。我们分析了低资源场景下的WER以及一个ATC数据集带来的性别偏见。

代码 — GitHub仓库: https://github.com/idiap/w2v2-air-traffic

使用方式

您可以使用我们的Google Colab笔记本来运行和评估我们的模型: https://github.com/idiap/w2v2-air-traffic/blob/master/src/eval_xlsr_atc_model.ipynb

预期用途与限制

该模型在航空交通管制数据上进行了微调。我们不期望它在其他数据集(如LibriSpeech或CommonVoice)上保持相同的性能。

训练与评估数据

参见我们论文中的表1(第3页): 预训练Wav2Vec 2.0在领域偏移的ASR上表现如何？航空交通管制通信的广泛基准测试。我们在那里描述了如何使用我们的模型的分区。

• 我们使用UWB-ATCC语料库微调此模型。您可以在此处下载原始数据: https://lindat.mff.cuni.cz/repository/xmlui/handle/11858/00-097C-0000-0001-CCA1-0
• 不过，不用担心，我们已经以Datasets格式准备了数据库。这里是HuggingFace上的UWB-ATCC语料库。您可以滚动查看训练/测试分区，甚至听一些音频。
• 如果您想以HuggingFace格式准备数据库，可以按照以下数据加载脚本操作: data_loader_atc.py。

编写自己的推理脚本

如果使用语言模型，您需要安装KenLM绑定:

conda activate your_environment  
pip install https://github.com/kpu/kenlm/archive/master.zip  

代码片段:

from datasets import load_dataset, load_metric, Audio  
import torch  
from transformers import AutoModelForCTC, Wav2Vec2Processor, Wav2Vec2ProcessorWithLM  
import torchaudio.functional as F  

USE_LM = False  
DATASET_ID = "Jzuluaga/uwb_atcc"  
MODEL_ID = "Jzuluaga/wav2vec2-large-960h-lv60-self-en-atc-uwb-atcc"  

# 1. 加载数据集  
# 我们仅加载测试集分区，但如果您想加载训练集分区，可以相应更改  
uwb_atcc_corpus_test = load_dataset(DATASET_ID, "test", split="test")  

# 2. 加载模型  
model = AutoModelForCTC.from_pretrained(MODEL_ID)  

# 3. 加载处理器，我们支持带语言模型的处理器，应能提供更好的结果  
if USE_LM:  
    processor = Wav2Vec2ProcessorWithLM.from_pretrained(MODEL_ID)  
else:  
    processor = Wav2Vec2Processor.from_pretrained(MODEL_ID)  
# 4. 格式化测试样本  
sample = next(iter(uwb_atcc_corpus_test))  
file_sampling_rate = sample['audio']['sampling_rate']  
# 如有必要，重新采样  
if file_sampling_rate != 16000:  
    resampled_audio = F.resample(torch.tensor(sample["audio"]["array"]), file_sampling_rate, 16000).numpy()  
else:  
    resampled_audio = torch.tensor(sample["audio"]["array"]).numpy()  
input_values = processor(resampled_audio, return_tensors="pt").input_values  

# 5. 在模型中运行前向传播  
with torch.no_grad():  
    logits = model(input_values).logits  

# 使用处理器获取转录结果  
if USE_LM:  
    transcription = processor.batch_decode(logits.numpy()).text  
else:  
    pred_ids = torch.argmax(logits, dim=-1)  
    transcription = processor.batch_decode(pred_ids)  
# 打印输出  
print(transcription)  

引用我们

如果您在研究中使用了此代码，请引用我们的论文:

@article{zuluaga2022how,  
    title={预训练Wav2Vec2.0在领域偏移的ASR上表现如何？航空交通管制通信的广泛基准测试},  
    author={Zuluaga-Gomez, Juan and Prasad, Amrutha and Nigmatulina, Iuliia and Sarfjoo, Saeed and others},  
    journal={IEEE口语语言技术研讨会(SLT), 多哈, 卡塔尔},  
    year={2022}  
  }  

以及,

@article{zuluaga2022bertraffic,  
  title={BERTraffic: 基于BERT的航空交通管制通信中说话人角色和说话人变更联合检测},  
  author={Zuluaga-Gomez, Juan and Sarfjoo, Seyyed Saeed and Prasad, Amrutha and others},  
  journal={IEEE口语语言技术研讨会(SLT), 多哈, 卡塔尔},  
  year={2022}  
  }  

以及,

@article{zuluaga2022atco2,  
  title={ATCO2语料库: 用于航空交通管制通信自动语音识别和自然语言理解研究的大规模数据集},  
  author={Zuluaga-Gomez, Juan and Vesel{\`y}, Karel and Sz{\"o}ke, Igor and Motlicek, Petr and others},  
  journal={arXiv预印本 arXiv:2211.04054},  
  year={2022}  
}  

训练过程

训练超参数

训练期间使用的超参数如下:

• 学习率: 0.0001
• 训练批次大小: 24
• 评估批次大小: 12
• 随机种子: 42
• 优化器: Adam，参数betas=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型: 线性
• 学习率预热步数: 1000
• 训练步数: 10000
• 混合精度训练: 原生AMP

训练结果