language:

• 海地克里奥尔语 tags:
• 'speecht5 '
• 文本转语音(TTS)

海地克里奥尔语微调版SpeechT5语音合成模型

本模型是基于microsoft/speecht5-tts针对海地克里奥尔语进行微调的版本，训练数据采用卡内基梅隆大学海地语数据集。

模型说明

该模型基于SpeechT5架构，这是一种专为文本转语音任务设计的T5（文本到文本转换器）变体模型。能够将输入的海地克里奥尔语文本转换为相应语音。

使用场景与限制

本模型适用于海地克里奥尔语的文本转语音(TTS)应用场景，可用于有声书朗读、语音助手等需要将书面文本转换为语音的应用程序。

但需注意以下限制：

• 模型性能高度依赖训练数据的质量和多样性，在更丰富专业的语料上进行微调可能提升效果
• 与所有机器学习模型类似，在合成复杂句式或领域专有术语时可能出现错误

训练与评估数据

模型使用卡内基梅隆大学海地语数据集进行微调，该数据集包含海地克里奥尔语的文本及对应音频样本。数据集划分为训练集和验证集以评估模型性能。

训练过程

训练超参数

训练采用以下超参数配置：

• 学习率：1e-05
• 单设备训练批大小：16
• 梯度累积步数：2
• 预热步数：500
• 最大训练步数：4000
• 梯度检查点：启用
• 混合精度训练：启用
• 评估策略：不评估
• 单设备验证批大小：8
• 模型保存间隔：1000步
• 日志记录间隔：25步
• 报告工具：["tensorboard"]
• 指标优化方向：越小越好

训练结果

训练过程指标如下：

训练产出

最终训练产出：

• 全局步数：4000步
• 最终训练损失：0.3344
• 总训练时长：7123.63秒
• 样本处理速度：17.97样本/秒
• 训练步速：0.562步/秒
• 总浮点运算量：1.1690e+16

框架版本

• Transformers 4.31.0
• PyTorch 2.0.1+cu118
• Datasets 2.13.1
• Tokenizers 0.13.3