license: cc-by-nc-sa-4.0 language:

• 英语
• 阿拉伯语
• 中文
• 荷兰语
• 法语
• 德语
• 意大利语
• 日语
• 韩语
• 立陶宛语
• 俄语
• 西班牙语
• 葡萄牙语
• 白俄罗斯语
• 孟加拉语
• 格鲁吉亚语
• 匈牙利语
• 拉脱维亚语
• 波斯语
• 波兰语
• 斯瓦希里语
• 泰米尔语
• 乌克兰语 pipeline_tag: 文本转语音 library_name: outetts base_model:
• OuteAI/Llama-OuteTTS-1.0-1B

查看我们的模型集获取所有TTS模型。

学习微调TTS模型 - 阅读指南。

Unsloth Dynamic 2.0实现更高精度，超越其他主流量化方案。

‚ú® 使用Unsloth运行和微调TTS模型！

• 使用我们的Google Colab笔记本免费微调TTS模型！
• 阅读关于TTS支持的博客：unsloth.ai/blog/tts

[!IMPORTANT] 重要采样注意事项

使用OuteTTS 1.0版本时，必须使用采样配置部分指定的设置。

重复惩罚实现尤为重要——该模型需要对最近64个token的窗口应用惩罚，而非整个上下文窗口。惩罚整个上下文将导致模型生成破碎或低质量的输出。

目前，llama.cpp默认提供最可靠和一致的输出质量。 llama.cpp和EXL2支持这种窗口化采样方法，而Transformers不支持。

为了解决这一限制，我在OuteTTS库中为Hugging Face Transformers后端实现了窗口化重复惩罚， 显著提高了输出质量并解决了采样问题，提供与llama.cpp相当的结果。

OuteTTS 1.0版本

本次更新在语音合成和语音克隆方面带来了显著改进——以紧凑的尺寸提供更强大、更准确且用户友好的体验。

新特性

1. 提示词重构与依赖移除

• 自动词对齐： 模型现在内部执行词对齐。只需输入原始文本——无需预处理——模型会处理其余部分，简化您的工作流程。为了获得最佳效果，请使用标准化、可读的文本，不带换行符（在outetts库中会自动应用轻度标准化）。
• 原生多语言文本支持： 直接支持多种语言的原生文本，无需罗马化。
• 增强的元数据集成： 更新的提示系统在全局和词级别上整合了额外的元数据（时间、能量、频谱质心、音高），改善了说话人流畅度和合成质量。
• 音频码本的特殊标记： 新增c1（码本1）和c2（码本2）的标记。

2. 新音频编码器模型

• DAC编码器： 集成了来自ibm-research/DAC.speech.v1.0的DAC音频编码器，使用两个码本进行高质量音频重建。
• 性能权衡： 提高音频保真度将token生成速率从75提升至150 tokens/秒。这一权衡优先考虑质量，尤其是多语言应用。

3. 语音克隆

• 单次语音克隆： 通常只需约10秒的参考音频即可生成准确的语音表征。
• 提高准确性： 得益于新编码器和额外的训练元数据，语音克隆现在更自然、更精确。

4. 自动文本对齐与数字支持

• 自动文本对齐： 在词级别对齐原始文本，即使对于没有明确边界的语言（如日语、中文），利用预处理训练数据的洞察。
• 直接数字输入： 内置多语言数字支持，允许在提示中直接使用数字——无需文本转换。（模型通常会选择存在的主导语言。在单个提示中混合语言可能导致错误。）

5. 多语言能力

• 支持的语言： OuteTTS根据训练数据曝光程度，在不同语言上提供不同熟练度。

• 高训练数据语言： 这些语言有大量训练数据：英语、阿拉伯语、中文、荷兰语、法语、德语、意大利语、日语、韩语、立陶宛语、俄语、西班牙语

• 中等训练数据语言： 这些语言接受中等训练，表现良好但偶有限制：**葡萄牙语、白俄罗斯语、孟加拉语、格鲁吉亚