库名称: transformers 语言:

• 匈牙利语 许可证: apache-2.0 基础模型: facebook/wav2vec2-large-xlsr-53 标签:
• 自动语音识别
• mozilla-foundation/common_voice_17_0
• 训练生成 数据集:
• common_voice_17_0 评估指标:
• 词错误率 模型索引:
• 名称: wav2vec2-large-xlsr-53-hungarian 结果:
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: MOZILLA-FOUNDATION/COMMON_VOICE_17_0 - HU 类型: common_voice_17_0 配置: hu 拆分: test 参数: '配置: hu, 训练拆分: train+validation, 评估拆分: test' 指标:
    • 名称: 词错误率 类型: wer 值: 0.1727824914378453

wav2vec2-large-xlsr-53-hungarian

本模型是基于facebook/wav2vec2-large-xlsr-53在MOZILLA-FOUNDATION/COMMON_VOICE_17_0 - HU数据集上微调的版本。在评估集上取得如下结果：

• 损失值: 0.1748
• 词错误率: 0.2997

训练集与实测词错误率存在差异是由于忽略了特定字符。

与先前最佳wav2vec模型的对比（基于CV17评估）

评估时忽略的字符：

忽略字符列表 = [",", "?", "¿", ".", "!", "¡", ";", "；", ":", '""', "%", '"', "�", "ʿ", "·", "჻", "~", "՞",
                   "؟", "،", "।", "॥", "«", "»", "„", "“", "”", "「", "」", "‘", "’", "《", "》", "(", ")", "[", "]",
                   "{", "}", "=", "`", "_", "+", "<", ">", "…", "–", "°", "´", "ʾ", "‹", "›", "©", "®", "—", "→", "。",
                   "、", "﹂", "﹁", "‧", "～", "﹏", "，", "｛", "｝", "（", "）", "［", "］", "【", "】", "‥", "〽",
                   "『", "』", "〝", "〟", "⟨", "⟩", "〜", "：", "！", "？", "♪", "؛", "/", "\\", "º", "−", "^", "ʻ", "ˆ"]

使用场景与限制

需补充更多信息

训练与评估

使用transformers示例PyTorch脚本训练

评估代码：

import torch
import librosa
import re
import warnings
from datasets import load_dataset
import evaluate
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor

语言标识 = "hu"
模型标识 = "jonatasgrosman/wav2vec2-large-xlsr-53-hungarian"
设备 = "cuda"

忽略字符正则 = f"[{re.escape(''.join(忽略字符列表))}]"

处理器 = Wav2Vec2Processor.from_pretrained(模型标识)
模型 = Wav2Vec2ForCTC.from_pretrained(模型标识)
模型.to(设备)

# 数据集预处理
def 语音文件转数组函数(批次):
    with warnings.catch_warnings():
        warnings.simplefilter("ignore")
        语音数组, 采样率 = librosa.load(批次["path"], sr=16_000)
    批次["speech"] = 语音数组
    批次["sentence"] = re.sub(忽略字符正则, "", 批次["sentence"]).upper()
    return 批次

测试数据集 = 测试数据集.map(语音文件转数组函数)

def 评估函数(批次):
    输入 = 处理器(批次["speech"], sampling_rate=16_000, return_tensors="pt", padding=True)

    with torch.no_grad():
        逻辑值 = 模型(输入.input_values.to(设备), attention_mask=输入.attention_mask.to(设备)).logits

    预测id = torch.argmax(逻辑值, dim=-1)
    批次["pred_strings"] = 处理器.batch_decode(预测id)
    return 批次

结果 = 测试数据集.map(评估函数, batched=True, batch_size=8)

预测文本 = [x.upper() for x in 结果["pred_strings"]]
参考文本 = [x.upper() for x in 结果["sentence"]]

print(f"词错误率: {词错误率计算器.compute(predictions=预测文本, references=参考文本) * 100}")
print(f"字符错误率: {字符错误率计算器.compute(predictions=预测文本, references=参考文本) * 100}")

训练过程

训练超参数

训练时使用以下超参数：

• 学习率: 0.0003
• 训练批大小: 16
• 评估批大小: 8
• 随机种子: 42
• 分布式类型: 多GPU
• 设备数量: 2
• 梯度累积步数: 2
• 总训练批大小: 64
• 总评估批大小: 16
• 优化器: 使用OptimizerNames.ADAMW_TORCH，参数betas=(0.9,0.999)，epsilon=1e-08，无额外参数
• 学习率调度类型: 线性
• 学习率预热步数: 500
• 训练轮数: 15.0
• 混合精度训练: 原生AMP

训练结果

框架版本

• Transformers 4.50.0.dev0
• Pytorch 2.6.0+cu124
• Datasets 3.3.2
• Tokenizers 0.21.0