语言: 孟加拉语
数据集:

• OpenSLR
  评估指标:
• 词错误率 (wer)
  标签:
• bn
• 音频
• 自动语音识别
• 语音
  许可证: cc-by-sa-4.0
  模型索引:
• 名称: Arijit 的 XLSR Wav2Vec2 孟加拉语模型
  结果:
  • 任务:
    名称: 语音识别
    类型: automatic-speech-recognition
    数据集:
    名称: OpenSLR
    类型: OpenSLR
    参数: ben
    指标:
    • 名称: 测试词错误率
      类型: wer
      值: 32.45

Wav2Vec2-Large-XLSR-孟加拉语

基于 facebook/wav2vec2-large-xlsr-53 微调，使用了 包含约196K条语音的孟加拉语ASR训练数据集 中的4万条语音子集。测试时使用了约4200条保留数据，未参与训练。
使用此模型时，请确保语音输入采样率为16kHz。
训练脚本见: train.py

数据准备笔记本: https://colab.research.google.com/drive/1JMlZPU-DrezXjZ2t7sOVqn7CJjZhdK2q?usp=sharing  
推理笔记本: https://colab.research.google.com/drive/1uKC2cK9JfUPDTUHbrNdOYqKtNozhxqgZ?usp=sharing  

使用方法

该模型可直接使用（无需语言模型），示例如下：

import torch  
import torchaudio  
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor  

processor = Wav2Vec2Processor.from_pretrained("arijitx/wav2vec2-large-xlsr-bengali")  
model = Wav2Vec2ForCTC.from_pretrained("arijitx/wav2vec2-large-xlsr-bengali")  
# 如需使用GPU: model = model.to("cuda")  

resampler = torchaudio.transforms.Resample(原始音频采样率, 16_000)  
def speech_file_to_array_fn(batch):  
    speech_array, sampling_rate = torchaudio.load(batch)  
    speech = resampler(speech_array).squeeze().numpy()  
    return speech  

speech_array = speech_file_to_array_fn("测试文件.wav")  
inputs = processor(speech_array, sampling_rate=16_000, return_tensors="pt", padding=True)  
with torch.no_grad():  
    logits = model(inputs.input_values).logits  

predicted_ids = torch.argmax(logits, dim=-1)  
preds = processor.batch_decode(predicted_ids)[0]  
print(preds.replace("[PAD]",""))  

测试结果: 在约4200条语音上的词错误率: 32.45%