wav2vec2-large-xlsr-galician

语言: 加利西亚语
数据集:

• OpenSLR 77
• 摩斯拉基金会 common_voice_8_0
  评估指标:
• 词错误率(WER)
  标签:
• 音频
• 自动语音识别
• 语音
• xlsr微调周
  许可证: Apache-2.0
  模型索引:
• 名称: 加利西亚语 wav2vec2-large-xlsr-galician
  结果:
  • 任务:
    名称: 语音识别
    类型: 自动语音识别
    数据集_1:
    名称: OpenSLR
    类型: openslr
    参数: gl
    数据集_2:
    名称: 摩斯拉基金会
    类型: 通用语音
    参数: gl
    指标:
    • 名称: 测试WER
      类型: wer
      值: 7.12

模型

针对加利西亚语优化的微调模型

基于facebook/wav2vec2-large-xlsr-53自监督模型
使用来自OpenSLR和MozillaCommon_Voice的标注音频进行微调（两个数据集均经过预先处理）

查看训练指标以了解结果

测试

确保音频输入采样率为16kHz（单声道）。

from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor

model = Wav2Vec2ForCTC.from_pretrained("ifrz/wav2vec2-large-xlsr-galician")
processor = Wav2Vec2Processor.from_pretrained("ifrz/wav2vec2-large-xlsr-galician")

# 读取测试音频片段
import librosa, torch
audio, rate = librosa.load("./gl_test_1.wav", sr = 16000)

# 获取输入值
input_values = processor(audio, sampling_rate=16_000, return_tensors = "pt", padding="longest").input_values
# 存储逻辑值（非标准化预测值）
logits = model(input_values).logits
# 存储预测ID
prediction = torch.argmax(logits, dim = -1)

# 将预测结果传递给分词器解码以获取转录文本
transcription = processor.batch_decode(prediction)[0]
print(transcription)