library_name: transformers base_model: syvai/tts-v1-pretrained tags:

• axolotl
• generated_from_trainer datasets:
• syvai/zac-coral-tts model-index:
• name: tts-v1-finetuned results: []

syv.ai 文本转语音 v0.1

TTS v0.1 是我们的首个开源文本转语音模型。该模型基于超过1000小时的丹麦语语音数据训练而成。

模型架构

本模型最初是基于LLAMA 3.2 3B架构，经过10万小时英语数据预训练后，我们进一步微调使其支持丹麦语合成。

由于采用LLM架构，模型可通过vLLM、ollama等主流推理框架进行部署。建议参考Orpheus项目的实施方案。

语音数据征集

我们持续征集自然对话场景的语音素材（非朗读式录音）。如有相关资源欢迎联系我们。

授权条款

个人及科研机构遵循MIT许可。商业用途需支付1丹麦克朗获取终身授权，完整条款详见LICENSE.txt。

训练配置

axolotl版本: 0.8.0

基础模型: syvai/tts-v1-pretrained
# 自动上传检查点和最终模型至HF
hub_model_id: syvai/tts-v1-finetuned

插件系统:
  - axolotl.integrations.liger.LigerPlugin
liger_rope: 启用
liger_rms_norm: 启用
liger_glu_activation: 启用
liger_fused_linear_cross_entropy: 启用

训练数据集:
  - 路径: syvai/zac-coral-tts
    类型: 
数据集预处理路径: last_run_prepared
验证集比例: 0.01
评估样本打包: 禁用
输出目录: ./outputs/finetuned

序列长度: 8192
样本打包: 启用
填充至序列长度: 启用

wandb配置:
项目名称: orph
实体名称:
监控选项:
运行名称:
模型日志:

梯度累积步数: 8
微批次大小: 4
训练轮次: 3
优化器: adamw_torch_fused
学习率调度器: cosine
初始学习率: 2e-5

精度设置:
bf16: 自动
tf32: 禁用

梯度检查点: 启用
检查点参数:
  可重入性: 禁用
断点续训:
日志间隔: 1
闪存注意力: 启用

预热步数: 3
每轮评估次数: 5
每轮保存次数: 5
权重衰减: 0.05

特殊标记:
  填充标记: <custom_token_7>

tts-v1微调版

本模型是在syvai/zac-coral-tts数据集上对syvai/tts-v1-pretrained进行微调的版本，在评估集上取得如下指标：

• 损失值: 4.2860

模型说明

待补充详细信息

使用场景与限制

待补充详细信息

训练与评估数据

待补充详细信息

训练流程

超参数配置

训练过程中采用以下超参数：

• 学习率: 2e-05
• 训练批次大小: 4
• 评估批次大小: 4
• 随机种子: 42
• 梯度累积步数: 8
• 总训练批次大小: 32
• 优化器: 使用ADAMW_TORCH_FUSED优化器，beta=(0.9,0.999)，epsilon=1e-08
• 学习率调度策略: cosine
• 学习率预热步数: 3
• 训练轮次: 3.0

训练指标

框架版本

• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1