🚀 F5 - TTS意大利语微调项目

本项目是对F5 - TTS模型进行的意大利语微调，仅支持意大利语，无法准确输出英语内容。项目使用特定数据集和设置进行训练，旨在提升意大利语语音合成效果。

✨ 主要特性

• 针对意大利语进行F5 - TTS模型的微调。
• 基于超过73小时的ylacombe/cml - tts数据集“train”分割进行训练。
• 训练过程使用特定的参数设置，以优化模型性能。

📦 安装指南

暂未提供相关安装步骤。

📚 详细文档

数据集与基础模型

训练设置

本模型使用8xRTX4090进行训练，目前仍在进行中。使用Gradio微调应用，设置如下：

exp_name="F5TTS_Base"
learning_rate=0.00001
batch_size_per_gpu=10000
batch_size_type="frame"
max_samples=64
grad_accumulation_steps=1
max_grad_norm=1
epochs=300
num_warmup_updates=2000
save_per_updates=600
last_per_steps=300
finetune=true
file_checkpoint_train=""
tokenizer_type="char"
tokenizer_file=""
mixed_precision="fp16"
logger="wandb"
bnb_optimizer=false

数据预处理

从数据源提取的数据在转录过程中进行了预处理。标点符号对于语音停顿和语调教学很重要，因此予以保留。原始意大利语“text”字段中包含的直接对话分隔符（长连字符）也被保留，但其中用于换行分割单词的连字符被移除，将单词的两部分合并，避免训练受无关因素影响。这里仅针对cml - tts中的意大利语数据，不确定其他语言是否受此影响。

当前训练程度最高的模型

model_159600.safetensors（约290个Epoch）

已知问题

• 灾难性失败：由于仅使用意大利语进行训练，模型失去了英语语音能力。建议使用多语言数据集而非单一语言数据集。
• 发音不完美：模型的发音效果有待提升。
• 数字转换：在意大利语中，数字需转换为字母才能正确发音。
• 数据集优化：使用更多样化语音的数据集有助于提升零样本克隆能力。

检查点文件夹

该文件夹包含特定步骤的检查点权重，数字越大表示训练进度越靠后。此文件夹中的权重可作为继续训练的起点。如果您能进一步微调模型以获得更好的结果，请与我联系。