🚀 ⓍTTS

ⓍTTS是一款语音生成模型，仅需一段6秒的音频片段，就能将语音克隆到不同语言中，无需大量长达数小时的训练数据。该模型与为Coqui Studio和Coqui API提供支持的模型相同或相似。

🚀 快速开始

你可以通过以下几种方式使用ⓍTTS模型：

使用🐸TTS API

from TTS.api import TTS
tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2", gpu=True)

# generate speech by cloning a voice using default settings
tts.tts_to_file(text="It took me quite a long time to develop a voice, and now that I have it I'm not going to be silent.",
                file_path="output.wav",
                speaker_wav="/path/to/target/speaker.wav",
                language="en")

使用🐸TTS命令行

 tts --model_name tts_models/multilingual/multi-dataset/xtts_v2 \
     --text "Bugün okula gitmek istemiyorum." \
     --speaker_wav /path/to/target/speaker.wav \
     --language_idx tr \
     --use_cuda true

直接使用模型

from TTS.tts.configs.xtts_config import XttsConfig
from TTS.tts.models.xtts import Xtts

config = XttsConfig()
config.load_json("/path/to/xtts/config.json")
model = Xtts.init_from_config(config)
model.load_checkpoint(config, checkpoint_dir="/path/to/xtts/", eval=True)
model.cuda()

outputs = model.synthesize(
    "It took me quite a long time to develop a voice and now that I have it I am not going to be silent.",
    config,
    speaker_wav="/data/TTS-public/_refclips/3.wav",
    gpt_cond_len=3,
    language="en",
)

✨ 主要特性

• 支持17种语言。
• 仅需6秒音频片段即可进行语音克隆。
• 通过克隆实现情感和风格转移。
• 跨语言语音克隆。
• 多语言语音生成。
• 24kHz采样率。

🆕 相较于XTTS-v1的更新

• 新增2种语言：匈牙利语和韩语。
• 对说话人调节进行了架构改进。
• 支持使用多个说话人参考并在说话人之间进行插值。
• 稳定性提升。
• 整体韵律和音频质量更佳。

🌐 支持的语言

XTTS-v2支持17种语言：英语（en）、西班牙语（es）、法语（fr）、德语（de）、意大利语（it）、葡萄牙语（pt）、波兰语（pl）、土耳其语（tr）、俄语（ru）、荷兰语（nl）、捷克语（cs）、阿拉伯语（ar）、中文（zh-cn）、日语（ja）、匈牙利语（hu）、韩语（ko）、印地语（hi）。

我们会持续添加更多语言支持，若你有特定语言需求，欢迎随时反馈！

💻 使用示例

基础用法

上述快速开始部分的代码示例展示了基础的使用方式，例如使用API、命令行和直接调用模型进行语音合成。

高级用法

暂未提供高级用法的相关代码示例，你可以关注代码库获取更多信息。

📚 详细文档

演示空间

• XTTS Space ：你可以查看模型在支持语言上的表现，并使用自己的参考音频或麦克风输入进行尝试。
• XTTS Voice Chat with Mistral or Zephyr ：你可以体验与Mistral 7B Instruct或Zephyr 7B Beta的流式语音聊天。

📄 许可证

该模型采用Coqui公共模型许可证。生成式模型的许可证涉及诸多方面，你可以在此阅读CPML的起源故事。

📞 联系我们

欢迎加入我们的🐸社区。我们活跃于Discord和Twitter，也可通过info@coqui.ai与我们邮件联系。