语言: ca 数据集:

• projecte-aina/3catparla_asr 标签:
• 音频
• 自动语音识别
• 加泰罗尼亚语
• whisper-large-v3
• projecte-aina
• 巴塞罗那超级计算中心
• bsc 许可证: apache-2.0 模型索引:
• 名称: whisper-large-v3-ca-3catparla 结果:
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: 3CatParla (测试集) 类型: projecte-aina/3catparla_asr 分割: test 参数: language: ca 指标:
    • 名称: WER 类型: wer 值: 0.96
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: 3CatParla (开发集) 类型: projecte-aina/3catparla_asr 分割: dev 参数: language: ca 指标:
    • 名称: WER 类型: wer 值: 0.92
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: Mozilla Common Voice 17.0 (测试集) 类型: mozilla-foundation/common_voice_17_0 分割: test 参数: language: ca 指标:
    • 名称: WER 类型: wer 值: 10.32
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: Mozilla Common Voice 17.0 (开发集) 类型: mozilla-foundation/common_voice_17_0 分割: validation 参数: language: ca 指标:
    • 名称: WER 类型: wer 值: 9.26
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: CV Benchmark Catalan Accents (巴利阿里女性) 类型: projecte-aina/commonvoice_benchmark_catalan_accents 分割: Balearic female 参数: language: ca 指标:
    • 名称: WER 类型: wer 值: 12.25
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: CV Benchmark Catalan Accents (巴利阿里男性) 类型: projecte-aina/commonvoice_benchmark_catalan_accents 分割: Balearic male 参数: language: ca 指标:
    • 名称: WER 类型: wer 值: 12.18
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: CV Benchmark Catalan Accents (中央区女性) 类型: projecte-aina/commonvoice_benchmark_catalan_accents 分割: Central female 参数: language: ca 指标:
    • 名称: WER 类型: wer 值: 8.51
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: CV Benchmark Catalan Accents (中央区男性) 类型: projecte-aina/commonvoice_benchmark_catalan_accents 分割: Central male 参数: language: ca 指标:
    • 名称: WER 类型: wer 值: 8.73
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: CV Benchmark Catalan Accents (北部女性) 类型: projecte-aina/commonvoice_benchmark_catalan_accents 分割: Northern female 参数: language: ca 指标:
    • 名称: WER 类型: wer 值: 8.09
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: CV Benchmark Catalan Accents (北部男性) 类型: projecte-aina/commonvoice_benchmark_catalan_accents 分割: Northern male 参数: language: ca 指标:
    • 名称: WER 类型: wer 值: 8.28
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: CV Benchmark Catalan Accents (西北部女性) 类型: projecte-aina/commonvoice_benchmark_catalan_accents 分割: Northwestern female 参数: language: ca 指标:
    • 名称: WER 类型: wer 值: 7.88
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: CV Benchmark Catalan Accents (西北部男性) 类型: projecte-aina/commonvoice_benchmark_catalan_accents 分割: Northwestern male 参数: language: ca 指标:
    • 名称: WER 类型: wer 值: 8.44
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: CV Benchmark Catalan Accents (瓦伦西亚女性) 类型: projecte-aina/commonvoice_benchmark_catalan_accents 分割: Valencian female 参数: language: ca 指标:
    • 名称: WER 类型: wer 值: 9.58
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: CV Benchmark Catalan Accents (瓦伦西亚男性) 类型: projecte-aina/commonvoice_benchmark_catalan_accents 分割: Valencian male 参数: language: ca 指标:
    • 名称: WER 类型: wer 值: 9.1 库名称: transformers

whisper-large-v3-ca-3catparla

目录

论文

PDF: 3CatParla: 加泰罗尼亚语广播电视自动语音识别的新开源语料库

模型描述

"whisper-large-v3-ca-3catparla" 是一个适用于加泰罗尼亚语自动语音识别的声学模型。它是对模型 "openai/whisper-large-v3" 进行微调的结果，使用了来自西班牙巴塞罗那 Projecte AINA 发布的710小时加泰罗尼亚语数据。

预期用途与限制

该模型可用于加泰罗尼亚语的自动语音识别(ASR)。模型旨在将加泰罗尼亚语的音频文件转录为无标点符号的纯文本。

如何开始使用该模型

要查看更新且功能完整的代码版本，请参阅我们的 Notebook

安装

为了使用此模型，您可以安装 datasets 和 transformers:

创建虚拟环境:

python -m venv /path/to/venv

激活环境:

source /path/to/venv/bin/activate

安装模块:

pip install datasets transformers 

推理

要使用此模型转录加泰罗尼亚语音频，可以按照以下示例:

#安装前提条件
pip install torch
pip install datasets
pip install 'transformers[torch]'
pip install evaluate
pip install jiwer

#此代码适用于GPU

#注意: load_metric 不再是 datasets 的一部分。
#您需要移除它并使用 evaluate 的 load 代替。
#(2024年11月注)

import torch
from transformers import WhisperForConditionalGeneration, WhisperProcessor

#加载处理器和模型。
MODEL_NAME="projecte-aina/whisper-large-v3-ca-3catparla"
processor = WhisperProcessor.from_pretrained(MODEL_NAME)
model = WhisperForConditionalGeneration.from_pretrained(MODEL_NAME).to("cuda")

#加载数据集
from datasets import load_dataset, load_metric, Audio
ds=load_dataset("projecte-aina/3catparla_asr",split='test')

#降采样至16kHz
ds = ds.cast_column("audio", Audio(sampling_rate=16_000))

#处理数据集
def map_to_pred(batch):
	audio = batch["audio"]
	input_features = processor(audio["array"], sampling_rate=audio["sampling_rate"], return_tensors="pt").input_features
	batch["reference"] = processor.tokenizer._normalize(batch['normalized_text'])

	with torch.no_grad():
		predicted_ids = model.generate(input_features.to("cuda"))[0]
	
	transcription = processor.decode(predicted_ids)
	batch["prediction"] = processor.tokenizer._normalize(transcription)
	
	return batch
	
#进行评估
result = ds.map(map_to_pred)

#计算整体WER。
from evaluate import load

wer = load("wer")
WER=100 * wer.compute(references=result["reference"], predictions=result["prediction"])
print(WER)

测试结果: 0.96

训练详情

训练数据

用于创建该模型的具体数据集称为 "3CatParla"。

训练过程

该模型是通过遵循Hugging Face提供的此教程对模型 "openai/whisper-large-v3" 进行微调的结果。

训练超参数

• 语言: 加泰罗尼亚语
• 训练音频小时数: 710
• 学习率: 1.95e-07
• 采样率: 16000
• 训练批次大小: 32 (x4 GPUs)
  • 梯度累积步数: 1
• 评估批次大小: 32
• 保存总数限制: 3
• 最大步数: 19842
• 预热步数: 1984
• 评估步数: 3307
• 保存步数: 3307
• 洗牌缓冲区大小: 480

引用

如果该模型对您的研究有所帮助，请引用以下工作:

@inproceedings{hernandez20243catparla,
  title={3CatParla: A New Open-Source Corpus of Broadcast TV in Catalan for Automatic Speech Recognition},
  author={Hern{\'a}ndez Mena, Carlos Daniel and Armentano Oller, Carme and Solito, Sarah and K{\"u}lebi, Baybars},
  booktitle={Proc. IberSPEECH 2024},
  pages={176--180},
  year={2024}
}

附加信息

作者

微调过程由 巴塞罗那超级计算中心 的 语言技术部门 在2024年7月由 Carlos Daniel Hernández Mena 完成。

联系方式

如需更多信息，请发送电子邮件至 langtech@bsc.es。

版权

版权所有(c) 2024 巴塞罗那超级计算中心语言技术部门。

许可证

Apache-2.0

资助

这项工作由加泰罗尼亚政府通过 Aina项目 推动和