许可证: mit
数据集:

• facebook/voxpopuli
  语言:
• hr
  基础模型:
• microsoft/speecht5_tts
  库名称: transformers

speecht5_tts_hr

这是针对克罗地亚语优化的SpeechT5文本转语音微调模型。

模型介绍

SpeechT5是基于LibriTTS数据集微调的语音合成（文本转语音）模型。作为成功T5模型（文本到文本转换Transformer）的升级版，它最初仅用于自然语言处理。该模型由微软研究团队在论文《SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing》（https://arxiv.org/abs/2110.07205）中提出。

选择SpeechT5模型的原因在于其经过全面评估，在语音识别、语音合成、语音翻译、声音转换、语音增强和说话人识别等广泛任务中表现出色。

SpeechT5采用单一架构集成三种语音模型功能，可实现：

• 语音转文本（用于语音识别或说话人识别）
• 文本转语音（用于语音合成）
• 语音转语音（用于音色转换或语音增强）

该模型由共享的编码器-解码器网络和六个针对特定数据模态（语音/文本）的专用神经网络组成。其独特之处在于通过跨模态预训练（同时学习文本和语音的统一表征空间），使得模型可针对前南斯拉夫地区语言（黑山语、塞尔维亚语、波斯尼亚语、克罗地亚语）的文本转语音等任务进行微调。

数据集

LibriTTS（https://www.openslr.org/60/）是由Heiga Zen与谷歌语音/大脑团队联合构建的585小时英语多说话人语料库，源自LibriVox的MP3音频和古腾堡计划的文本。

VoxPopuli数据集包含：

• 23种语言的40万小时无标注语音
• 16种语言的1800小时标注语音
• 1.73万小时语音转换数据
• 29小时非母语英语发音研究数据

技术实现

由于原始模型仅在英语LibriTTS数据集上训练，我们使用克罗地亚语VoxPopuli数据集（欧洲议会2009-2020年录音）进行适配。当前数据集包含：

• 43小时标注语音
• 83位说话人
• 33.7万标注词元（1词元≈0.75词）

数据处理流程包括：

1. 标准NLP预处理（词表构建、分词、特殊字符处理、文本规范化）
2. 说话人统计分析（筛选高质量样本并平衡男女说话人比例）
3. 超参数调优（通过多轮实验确定最优配置）

评估发现模型存在长文本生成限制（超过20词时失效），通过文本分块处理解决。该限制主要源于训练数据量不足，后续将通过收集黑山语、塞尔维亚语和波斯尼亚语数据进一步提升效果。