语言: 德语
数据集:

• common_voice
  评估指标:
• wer
  标签:
• 音频
• 自动语音识别
• 语音
• xlsr微调周
  许可证: apache-2.0
  模型索引:
• 名称: XLSR Wav2Vec2 Large 53 CV-de
  结果:
  • 任务:
    名称: 语音识别
    类型: automatic-speech-recognition
    数据集:
    名称: Common Voice de
    类型: common_voice
    参数: de
    指标:
    • 名称: 测试WER
      类型: wer
      值: 12.77

Wav2Vec2-Large-XLSR-53-德语

基于facebook/wav2vec2-large-xlsr-53模型，使用Common Voice数据集对德语进行了微调。
使用此模型时，请确保语音输入采样率为16kHz。

使用方法

该模型可直接使用（无需语言模型），如下所示：

import torch  
import torchaudio  
from datasets import load_dataset  
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor  

test_dataset = load_dataset("common_voice", "de", split="test[:8]") # 示例中使用8条数据进行演示  

processor = Wav2Vec2Processor.from_pretrained("maxidl/wav2vec2-large-xlsr-german")  
model = Wav2Vec2ForCTC.from_pretrained("maxidl/wav2vec2-large-xlsr-german")   

resampler = torchaudio.transforms.Resample(48_000, 16_000)  

"""  
数据预处理步骤：  
- 加载音频文件  
- 重采样至16kHz  
- 转换为数组  
- 使用处理器准备输入张量  
"""  
def speech_file_to_array_fn(batch):  
    speech_array, sampling_rate = torchaudio.load(batch["path"])  
    batch["speech"] = resampler(speech_array).squeeze().numpy()  
    return batch  

test_dataset = test_dataset.map(speech_file_to_array_fn)  
inputs = processor(test_dataset["speech"], sampling_rate=16_000, return_tensors="pt", padding=True)  

# 前向传播  
with torch.no_grad():  
    logits = model(inputs.input_values, attention_mask=inputs.attention_mask).logits  

predicted_ids = torch.argmax(logits, dim=-1)  

print("预测结果:", processor.batch_decode(predicted_ids))  
print("参考文本:", test_dataset["sentence"])  
"""  
示例结果：  

预测结果: [  
    'zieh durch bittet draußen die schuhe aus',  
    'es kommt zugvorgebauten fo',  
    'ihre vorterstrecken erschienen it modemagazinen wie der voge karpes basar mariclair',  
    'fürliepert eine auch für manachen ungewöhnlich lange drittelliste',  
    'er wurde zu ehren des reichskanzlers otto von bismarck errichtet',  
    'was solls ich bin bereit',  
    'das internet besteht aus vielen computern die miteinander verbunden sind',  
    'der uranus ist der siebinteplanet in unserem sonnensystem s'  
]  

参考文本: [  
    'Zieht euch bitte draußen die Schuhe aus.',  
    'Es kommt zum Showdown in Gstaad.',  
    'Ihre Fotostrecken erschienen in Modemagazinen wie der Vogue, Harper’s Bazaar und Marie Claire.',  
    'Felipe hat eine auch für Monarchen ungewöhnlich lange Titelliste.',  
    'Er wurde zu Ehren des Reichskanzlers Otto von Bismarck errichtet.',  
    'Was solls, ich bin bereit.',  
    'Das Internet besteht aus vielen Computern, die miteinander verbunden sind.',  
    'Der Uranus ist der siebente Planet in unserem Sonnensystem.'  
]  
"""  

评估

可在Common Voice德语测试集上按如下方式评估模型：

import re  
import torch  
import torchaudio  
from datasets import load_dataset, load_metric  
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor  

"""  
全量测试集评估：  
- 耗时约20分钟（RTX 3090）  
- 计算WER需约170GB内存。下方采用分块WER实现以避免高内存消耗  
"""  
test_dataset = load_dataset("common_voice", "de", split="test") # 使用"test[:1%]"可测试1%样本  
wer = load_metric("wer")  

processor = Wav2Vec2Processor.from_pretrained("maxidl/wav2vec2-large-xlsr-german")  
model = Wav2Vec2ForCTC.from_pretrained("maxidl/wav2vec2-large-xlsr-german")  
model.to("cuda")  

chars_to_ignore_regex = '[\\,\\?\\.\\!\\-\\;\\:\\"\\“]'  
resampler = torchaudio.transforms.Resample(48_000, 16_000)  

# 数据预处理  
def speech_file_to_array_fn(batch):  
\tbatch["sentence"] = re.sub(chars_to_ignore_regex, '', batch["sentence"]).lower()  
\tspeech_array, sampling_rate = torchaudio.load(batch["path"])  
\tbatch["speech"] = resampler(speech_array).squeeze().numpy()  
\treturn batch  

test_dataset = test_dataset.map(speech_file_to_array_fn)  

# 评估函数  
def evaluate(batch):  
\tinputs = processor(batch["speech"], sampling_rate=16_000, return_tensors="pt", padding=True)  

\twith torch.no_grad():  
\t\tlogits = model(inputs.input_values.to("cuda"), attention_mask=inputs.attention_mask.to("cuda")).logits  

\tpred_ids = torch.argmax(logits, dim=-1)  
\tbatch["pred_strings"] = processor.batch_decode(pred_ids)  
\treturn batch  

result = test_dataset.map(evaluate, batched=True, batch_size=8) # batch_size=8需约14.5GB显存  

# 非分块版本：  
# print("WER: {:2f}".format(100 * wer.compute(predictions=result["pred_strings"], references=result["sentence"])))  
# WER: 12.900291   

# 分块版本（参考https://discuss.huggingface.co/t/spanish-asr-fine-tuning-wav2vec2/4586/5）：  
import jiwer  

def chunked_wer(targets, predictions, chunk_size=None):  
    if chunk_size is None: return jiwer.wer(targets, predictions)  
    start = 0  
    end = chunk_size  
    H, S, D, I = 0, 0, 0, 0  
    while start < len(targets):  
        chunk_metrics = jiwer.compute_measures(targets[start:end], predictions[start:end])  
        H = H + chunk_metrics["hits"]  
        S = S + chunk_metrics["substitutions"]  
        D = D + chunk_metrics["deletions"]  
        I = I + chunk_metrics["insertions"]  
        start += chunk_size  
        end += chunk_size  
    return float(S + D + I) / float(H + S + D)  

print("Total (chunk_size=1000), WER: {:2f}".format(100 * chunked_wer(result["pred_strings"], result["sentence"], chunk_size=1000)))  
# Total (chunk=1000), WER: 12.768981  

测试结果: WER: 12.77 %

训练过程

使用Common Voice德语的train和validation集进行训练。
训练脚本详见此处。
模型训练了50k步，单卡A100耗时约30小时。

训练参数如下：

python run_finetuning.py \\  
--model_name_or_path="facebook/wav2vec2-large-xlsr-53" \\  
--dataset_config_name="de" \\  
--output_dir=./wav2vec2-large-xlsr-german \\  
--preprocessing_num_workers="16" \\  
--overwrite_output_dir \\  
--num_train_epochs="20" \\  
--per_device_train_batch_size="64" \\  
--per_device_eval_batch_size="32" \\  
--learning_rate="1e-4" \\  
--warmup_steps="500" \\  
--evaluation_strategy="steps" \\  
--save_steps="5000" \\  
--eval_steps="5000" \\  
--logging_steps="1000" \\  
--save_total_limit="3" \\  
--freeze_feature_extractor \\  
--activation_dropout="0.055" \\  
--attention_dropout="0.094" \\  
--feat_proj_dropout="0.04" \\  
--layerdrop="0.04" \\  
--mask_time_prob="0.08" \\  
--gradient_checkpointing="1" \\  
--fp16 \\  
--do_train \\  
--do_eval \\  
--dataloader_num_workers="16" \\  
--group_by_length