语言: 斯瓦希里语
数据集:

• ALFFA、Gamayun 和 IWSLT

评估指标:

• 词错误率（WER） 标签:
• 音频
• 自动语音识别
• 语音
• XLSR微调周 许可证: Apache-2.0 模型索引:
• 名称: 斯瓦希里语 XLSR-53 Wav2Vec2.0 大模型 结果:
  • 任务: 名称: 语音识别 类型: 自动语音识别 数据集: 名称: ALFFA sw 参数: sw 评估指标:
    • 名称: 测试 WER 类型: wer 值: 待完善

Wav2Vec2-Large-XLSR-53-斯瓦希里语

基于以下斯瓦希里语数据集对 facebook/wav2vec2-large-xlsr-53 进行微调：

• ALFFA，
• Gamayun
• IWSLT

使用此模型时，请确保语音输入采样率为16kHz。

使用方法

该模型可直接使用（无需语言模型），示例如下：

import torch
import torchaudio
from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor


processor = Wav2Vec2Processor.from_pretrained("alokmatta/wav2vec2-large-xlsr-53-sw")

model = Wav2Vec2ForCTC.from_pretrained("alokmatta/wav2vec2-large-xlsr-53-sw").to("cuda")

resampler = torchaudio.transforms.Resample(48_000, 16_000)

resampler = torchaudio.transforms.Resample(orig_freq=48_000, new_freq=16_000)

def load_file_to_data(file):
    batch = {}
    speech, _ = torchaudio.load(file)
    batch["speech"] = resampler.forward(speech.squeeze(0)).numpy()
    batch["sampling_rate"] = resampler.new_freq
    return batch


def predict(data):
    features = processor(data["speech"], sampling_rate=data["sampling_rate"], padding=True, return_tensors="pt")
    input_values = features.input_values.to("cuda")
    attention_mask = features.attention_mask.to("cuda")
    with torch.no_grad():
        logits = model(input_values, attention_mask=attention_mask).logits
    pred_ids = torch.argmax(logits, dim=-1)
    return processor.batch_decode(pred_ids)

predict(load_file_to_data('./demo.wav'))

测试结果: 40%

训练过程

训练脚本可在此处查看。