license: other license_name: coqui-public-model-license license_link: https://coqui.ai/cpml library_name: coqui pipeline_tag: text-to-speech widget:

• text: "六岁时，我曾看过一幅精美的画作"

基于印地语数据集微调的XTTS v2模型

模型名称：基于印地语数据集微调的XTTS v2

模型描述：这是由Coqui-AI开发的XTTS v2（跨语言文本转语音）模型的微调版本，专门针对印地语语音数据集进行优化，以提升生成自然准确印地语语音的性能。该模型支持包括语音克隆和多语言语音生成在内的一系列功能。

Colab笔记本

您可以通过此Colab笔记本链接查看用于在印地语数据集上微调XTTS v2模型的Colab笔记本，并按照步骤复现该过程。

功能特点

• 语言支持：支持包括印地语（hi）在内的16种语言。
• 语音克隆：仅需6秒音频片段即可克隆语音。
• 情感与风格迁移：通过克隆实现情感和风格迁移。
• 跨语言语音克隆：支持不同语言间的语音克隆。
• 采样率：24kHz采样率，提供高质量音频。

相较于XTTS-v1的改进

• 新增语言：增加了匈牙利语和韩语支持。
• 架构优化：增强了说话人条件化和插值功能。
• 稳定性提升：整体稳定性和性能更优。
• 音频质量：韵律和音频质量得到改善。

支持语言

XTTS-v2模型支持17种语言，包括：

• 英语（en）
• 西班牙语（es）
• 法语（fr）
• 德语（de）
• 意大利语（it）
• 葡萄牙语（pt）
• 波兰语（pl）
• 土耳其语（tr）
• 俄语（ru）
• 荷兰语（nl）
• 捷克语（cs）
• 阿拉伯语（ar）
• 中文（zh-cn）
• 日语（ja）
• 匈牙利语（hu）
• 韩语（ko）
• 印地语（hi）

训练数据

该模型基于以下印地语数据集进行微调：

• Mozilla CommonVoice 18：多样化的印地语语音数据集。
• IndicTTS印地语数据集：用于文本转语音训练的印地语语音数据。

代码

代码库支持推理和微调。

演示空间

• XTTS演示空间：探索模型在支持语言上的表现，并尝试使用您自己的参考音频或麦克风输入进行测试。
• 与Mistral或Zephyr的XTTS语音聊天：体验与Mistral 7B Instruct或Zephyr 7B Beta的流式语音聊天。

许可证

本模型采用Coqui公共模型许可证授权。了解更多关于CPML起源故事。

联系方式

加入我们的🐸社区Discord并关注我们的Twitter。如需咨询，也可发送邮件至info@coqui.ai。

使用方法

使用🐸TTS API

from TTS.api import TTS

# 加载模型
tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2", gpu=True)

# 使用默认设置克隆语音并生成语音
tts.tts_to_file(
    text="我花了很长时间才培养出一种声音，现在我有了它，我不会再沉默。",
    file_path="output.wav",
    speaker_wav="/path/to/target/speaker.wav",
    language="hi"
)