🚀 XLSR-TIMIT-B0：针对音素转录在TIMIT上进行微调

本模型利用预训练检查点 ginic/data_seed_4_wav2vec2-large-xlsr-buckeye-ipa，并在 TIMIT Darpa英语语料库 上进行微调，用于将英语音频转录为音素表示。

所有代码均可在 Github 上获取。

该模型在英语的xlsr国际音标转录方面优于当前所有同类模型。

✨ 主要特性

• 基于预训练模型微调，在TIMIT语料库上进行针对性训练，适用于英语音频的音素转录。
• 代码开源，方便开发者使用和进一步研究。
• 在各项性能指标上表现出色，超越当前同类模型。

📦 安装指南

暂未提及安装相关内容，故跳过此章节。

💻 使用示例

基础用法

from transformers import AutoModelForCTC, AutoProcessor
import torch

# Load model and processor
model = AutoModelForCTC.from_pretrained("KoelLabs/xlsr-timit-b0")
processor = AutoProcessor.from_pretrained("KoelLabs/xlsr-timit-b0")

# Prepare input
audio_input = "path_to_your_audio_file.wav"  # Replace with your file
input_values = processor(audio_input, return_tensors="pt", sampling_rate=16000).input_values

# Retrieve logits
with torch.no_grad():
    logits = model(input_values).logits

# Decode predictions
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)
print(transcription)

📚 详细文档

性能表现

• 训练损失：1.254
• 验证损失：0.267
• 测试结果（TIMIT测试集）：
  • 平均加权距离：13.309375
  • 加权距离标准差：9.87
  • 平均字符错误率（CER）：0.113
  • 字符错误率标准差：0.06

模型信息

示例输出

1. 预测结果：lizteɪkðɪsdɹɾiteɪbklɔθiðiklinizfɹmi
   真实标签：lizteɪkðɪsdɹɾiteɪbəklɔtiðiklinizfɹmi
   加权特征编辑距离：7.875
   字符错误率：0.0556

2. 预测结果：ɹænmʌðɹʔaʊtɹuhɹʔʌpɹɪŋiɾimpɛɾikoʊts
   真实标签：ɹænmʌðɹʔaʊtɹuhɹʔʌpɹɪŋiŋinpɛɾikoʊts
   加权特征编辑距离：2.375
   字符错误率：0.0588

局限性

本音素转录模型是在一个不涵盖所有方言和语言的英语语音语料库上进行微调的。我们承认，对于任何未见过的语言，该模型的性能可能会显著下降。我们的目标是在未来发布能够更好地服务于所有人群和语言的模型和数据集。

📄 许可证

本模型使用的许可证为mpl - 2.0。