🚀 Parler-TTS Mini Multilingual v1.1

Parler-TTS Mini Multilingual v1.1 是 Parler-TTS Mini 的多语言扩展版本。它可以支持8种欧洲语言的文本转语音功能，包括英语、法语、西班牙语、葡萄牙语、波兰语、德语、意大利语和荷兰语。并且，由于其采用了更好的提示分词器，该模型可以轻松扩展到其他语言。

🚀 快速开始

安装

使用 Parler-TTS 就像说 “bonjour” 一样简单。只需安装一次该库：

pip install git+https://github.com/huggingface/parler-tts.git

使用示例

基础用法

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-mini-multilingual-v1.1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-mini-multilingual-v1.1")
description_tokenizer = AutoTokenizer.from_pretrained(model.config.text_encoder._name_or_path)

prompt = "Salut toi, comment vas-tu aujourd'hui?"
description = "A female speaker delivers a slightly expressive and animated speech with a moderate speed and pitch. The recording is of very high quality, with the speaker's voice sounding clear and very close up."

input_ids = description_tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)

高级用法

此版本的模型在训练时还针对16位特定的说话人进行了优化，你可以通过指定说话人的名称来确保生成语音的一致性。例如：

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-mini-multilingual-v1.1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-mini-multilingual-v1.1")
description_tokenizer = AutoTokenizer.from_pretrained(model.config.text_encoder._name_or_path)

prompt = "Salut toi, comment vas-tu aujourd'hui?"
description = "Daniel's voice is monotone yet slightly fast in delivery, with a very close recording that almost has no background noise."

input_ids = description_tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)

你可以从以下列表中选择说话人：

✨ 主要特性

• 多语言支持：可以支持8种欧洲语言的文本转语音功能。
• 可扩展性：采用了更好的提示分词器，该分词器具有更大的词汇表并支持字节回退，简化了多语言训练，因此可以轻松扩展到其他语言。
• 特定说话人支持：可以指定特定的说话人来生成语音，确保语音的一致性。
• 开源性：完全开源，所有数据集、预处理代码、训练代码和权重都在宽松的许可证下公开发布，方便社区在其基础上进行开发。

📚 详细文档

动机

Parler-TTS 是对 Dan Lyth 和 Simon King 分别来自 Stability AI 和爱丁堡大学的论文 Natural language guidance of high-fidelity text-to-speech with synthetic annotations 的复现工作。与其他 TTS 模型不同，Parler-TTS 是一个完全开源的版本。所有数据集、预处理、训练代码和权重都在宽松的许可证下公开发布，使社区能够在我们的工作基础上构建自己强大的 TTS 模型。

Parler-TTS 发布时还附带了以下资源：

• The Parler-TTS repository - 你可以在其中训练和微调自己的模型版本。
• The Data-Speech repository - 一套用于注释语音数据集的实用脚本。
• The Parler-TTS organization - 你可以在其中找到带注释的数据集以及未来的模型检查点。

引用

如果你发现这个仓库很有用，请考虑引用这项工作以及原始的 Stability AI 论文：

@misc{lacombe-etal-2024-parler-tts,
  author = {Yoach Lacombe and Vaibhav Srivastav and Sanchit Gandhi},
  title = {Parler-TTS},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/huggingface/parler-tts}}
}

@misc{lyth2024natural,
      title={Natural language guidance of high-fidelity text-to-speech with synthetic annotations},
      author={Dan Lyth and Simon King},
      year={2024},
      eprint={2402.01912},
      archivePrefix={arXiv},
      primaryClass={cs.SD}
}

许可证

该模型在 Apache 2.0 许可证下发布。

使用提示

• 我们已经设置了一个推理指南，以加快生成速度，例如使用 SDPA、torch.compile、批量处理和流式传输等技术。
• 在描述中包含 “very clear audio” 可以生成最高质量的音频，包含 “very noisy audio” 则可以生成具有高背景噪音的音频。
• 可以使用标点符号来控制生成语音的韵律，例如使用逗号在语音中添加小停顿。
• 其余的语音特征（性别、语速、音高和混响）可以直接通过提示进行控制。

⚠️ 重要提示

与 Parler-TTS 的以前版本不同，这里我们使用两个分词器 - 一个用于提示，一个用于描述。

💡 使用建议

可以参考我们的推理指南来优化生成速度；在描述中合理使用关键词和标点符号来控制生成语音的质量和韵律。