🚀 wav2vec2-xls-r-parlaspeech-hr-lm
该模型用于克罗地亚语的自动语音识别(ASR),基于 facebook/wav2vec2-xls-r-300m 模型,并使用来自克罗地亚议会自动语音识别数据集 ParlaSpeech-HR v1.0 的 300 小时录音和文字转录进行了微调。
如果您使用此模型,请引用以下论文:
@inproceedings{ljubevsic2022parlaspeech,
title={ParlaSpeech-HR-a Freely Available ASR Dataset for Croatian Bootstrapped from the ParlaMint Corpus},
author={Ljube{\v{s}}i{\'c}, Nikola and Kor{\v{z}}inek, Danijel and Rupnik, Peter and Jazbec, Ivo-Pavao},
booktitle={Proceedings of the Workshop ParlaCLARIN III within the 13th Language Resources and Evaluation Conference},
pages={111--116},
year={2022},
url={http://www.lrec-conf.org/proceedings/lrec2022/workshops/ParlaCLARINIII/pdf/2022.parlaclariniii-1.16.pdf}
}
🚀 快速开始
✨ 主要特性
- 基于
facebook/wav2vec2-xls-r-300m
模型,针对克罗地亚语自动语音识别进行微调。
- 使用 ParlaSpeech-HR v1.0 数据集的 300 小时录音和文字转录进行训练。
📦 安装指南
本部分文档未提供安装步骤,可参考 transformers
库的官方安装指南进行安装。
💻 使用示例
基础用法
from transformers import Wav2Vec2ProcessorWithLM, Wav2Vec2ForCTC
import soundfile as sf
import torch
import os
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
processor = Wav2Vec2ProcessorWithLM.from_pretrained(
"classla/wav2vec2-xls-r-parlaspeech-hr-lm")
model = Wav2Vec2ForCTC.from_pretrained("classla/wav2vec2-xls-r-parlaspeech-hr-lm")
os.system("wget https://huggingface.co/classla/wav2vec2-large-slavic-parlaspeech-hr/raw/main/00020570a.flac.wav")
speech, sample_rate = sf.read("00020570a.flac.wav")
input_values = processor(speech, sampling_rate=sample_rate, return_tensors="pt").input_values.cuda()
inputs = processor(speech, sampling_rate=sample_rate, return_tensors="pt")
with torch.no_grad():
logits = model(**inputs).logits
transcription = processor.batch_decode(logits.numpy()).text[0]
os.system("rm 00020570a.flac.wav")
transcription
📚 详细文档
指标
评估是在 ParlaSpeech-HR v1.0 数据集的开发集和测试集上进行的。
数据集划分 |
字符错误率 (CER) |
词错误率 (WER) |
开发集 |
0.0448 |
0.1129 |
测试集 |
0.0363 |
0.0985 |
有多个可用的模型,就字符错误率(CER)和词错误率(WER)而言,性能最佳的模型是 wav2vec2-large-slavic-parlaspeech-hr-lm。
🔧 技术细节
训练超参数
在微调过程中,使用了以下参数:
参数 |
值 |
per_device_train_batch_size |
16 |
gradient_accumulation_steps |
4 |
num_train_epochs |
8 |
learning_rate |
3e-4 |
warmup_steps |
500 |
📄 许可证
文档未提及许可证信息。