语言: 英语
许可证: Apache-2.0
标签:

• 音素识别
• 训练生成
  数据集:
• w11wo/ljspeech_phonemes
  基础模型: Wav2Vec2-Base
  推理参数:
  应用函数: 无
  模型索引:
• 名称: Wav2Vec2 LJSpeech Gruut
  结果:
  • 任务:
    类型: 自动语音识别
    名称: 自动语音识别
    数据集:
    名称: LJSpeech
    类型: ljspeech_phonemes
    指标:
    • 类型: PER
      值: 0.0099
      名称: 测试PER（无重音）
    • 类型: CER
      值: 0.0058
      名称: 测试CER（无重音）

Wav2Vec2 LJSpeech Gruut

Wav2Vec2 LJSpeech Gruut 是一个基于 wav2vec 2.0 架构的自动语音识别模型。该模型是在 LJSpech Phonemes 数据集上对 Wav2Vec2-Base 进行微调的版本。

与训练预测单词序列不同，该模型被训练用于预测音素序列，例如 ["h", "ɛ", "l", "ˈoʊ", "w", "ˈɚ", "l", "d"]。因此，模型的词汇表 包含了 gruut 中发现的国际音标（IPA）音素。

该模型使用 HuggingFace 的 PyTorch 框架进行训练。所有训练均在配备了 Tesla A100 GPU 的 Google Cloud Engine VM 上完成。训练使用的所有脚本可在 文件和版本 标签页中找到，同时 训练指标 通过 Tensorboard 记录。

模型

评估结果

模型在评估中取得以下结果：

使用方法

from transformers import AutoProcessor, AutoModelForCTC, Wav2Vec2Processor  
import librosa  
import torch  
from itertools import groupby  
from datasets import load_dataset  

def decode_phonemes(  
    ids: torch.Tensor, processor: Wav2Vec2Processor, ignore_stress: bool = False  
) -> str:  
    """类CTC解码。先去除连续重复项，再去除特殊标记。"""  
    # 去除连续重复项  
    ids = [id_ for id_, _ in groupby(ids)]  

    special_token_ids = processor.tokenizer.all_special_ids + [  
        processor.tokenizer.word_delimiter_token_id  
    ]  
    # 将id转换为音素，跳过特殊标记  
    phonemes = [processor.decode(id_) for id_ in ids if id_ not in special_token_ids]  

    # 拼接音素  
    prediction = " ".join(phonemes)  

    # 是否忽略IPA重音标记  
    if ignore_stress == True:  
        prediction = prediction.replace("ˈ", "").replace("ˌ", "")  

    return prediction  

checkpoint = "bookbot/wav2vec2-ljspeech-gruut"  

model = AutoModelForCTC.from_pretrained(checkpoint)  
processor = AutoProcessor.from_pretrained(checkpoint)  
sr = processor.feature_extractor.sampling_rate  

# 加载示例数据集并读取音频文件  
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")  
audio_array = ds[0]["audio"]["array"]  

# 或读取单个音频文件  
# audio_array, _ = librosa.load("myaudio.wav", sr=sr)  

inputs = processor(audio_array, return_tensors="pt", padding=True)  

with torch.no_grad():  
    logits = model(inputs["input_values"]).logits  

predicted_ids = torch.argmax(logits, dim=-1)  
prediction = decode_phonemes(predicted_ids[0], processor, ignore_stress=True)  
# 输出应为 'b ɪ k ʌ z j u ɚ z s l i p ɪ ŋ ɪ n s t ɛ d ə v k ɔ ŋ k ɚ ɪ ŋ ð ə l ʌ v l i ɹ z p ɹ ɪ n s ə s h æ z b ɪ k ʌ m ə v f ɪ t ə l w ɪ θ n b oʊ p ɹ ə ʃ æ ɡ i s ɪ t s ð ɛ ɹ ə k u ɪ ŋ d ʌ v'  

训练过程

训练超参数

训练中使用的超参数如下：

• 学习率: 0.0001
• 训练批次大小: 16
• 评估批次大小: 8
• 随机种子: 42
• 梯度累积步数: 2
• 总训练批次大小: 32
• 优化器: Adam，参数 betas=(0.9,0.999) 和 epsilon=1e-08
• 学习率调度器类型: 线性
• 学习率预热步数: 1000
• 训练轮数: 30.0
• 混合精度训练: Native AMP

训练结果

免责声明

请注意，预训练数据集可能存在的偏见可能会影响该模型的结果。

作者

Wav2Vec2 LJSpeech Gruut 由 Wilson Wongso 训练和评估。所有计算和开发均在 Google Cloud 上完成。

框架版本

• Transformers 4.26.0.dev0
• Pytorch 1.10.0
• Datasets 2.7.1
• Tokenizers 0.13.2
• Gruut 2.3.4