语言:

• 泰语 标签:
• 自动语音识别 许可证:
• apache-2.0 数据集:
• common_voice 评估指标:
• 词错误率(WER)
• 字符错误率(CER)

基于CommonVoice V8的泰语Wav2Vec2模型（newmm分词器）+语言模型

该模型使用CommonVoice V8数据集进行训练，相较于之前使用的CommonVoice V7数据集（应用于airesearch/wav2vec2-large-xlsr-53-th），数据量有所增加。模型基于wav2vec2-large-xlsr-53进行微调。

模型描述

• 技术报告: 基于CommonVoice V8的泰语Wav2Vec2.0

数据集

该模型在CommonVoice V7数据集基础上新增了CommonVoice V8的数据，或先移除V7全部数据后分割V8数据集，再将V7数据重新合并。

使用ekapolc/Thai_commonvoice_split脚本进行CommonVoice数据集分割。

模型架构

本模型基于wav2vec2-large-xlsr-53架构，使用泰语CommonVoice V8数据集微调，并采用pythainlp.tokenize.word_tokenize进行预分词处理。

训练过程

代码主要参考vistec-AI/wav2vec2-large-xlsr-53-th，并修复了训练代码中的错误（参见vistec-AI/wav2vec2-large-xlsr-53-th#2）。

评估结果

CommonVoice V8测试集表现

CommonVoice V7测试集表现（与CV V7相同测试条件）

测试集与https://huggingface.co/airesearch/wav2vec2-large-xlsr-53-th保持一致。

相关链接:

• GitHub数据集: https://github.com/wannaphong/thai_commonvoice_dataset
• 技术报告: 基于CommonVoice V8的泰语Wav2Vec2.0

引用信息

@misc{phatthiyaphaibun2022thai,
      title={基于CommonVoice V8的泰语Wav2Vec2.0}, 
      author={Wannaphong Phatthiyaphaibun and Chompakorn Chaksangchaichot and Peerat Limkonchotiwat and Ekapol Chuangsuwanich and Sarana Nutanong},
      year={2022},
      eprint={2208.04799},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}