库名称: transformers 标签:

• 文本转语音
• 标注 许可证: apache-2.0 支持语言:
• 英语
• 法语
• 西班牙语
• 葡萄牙语
• 波兰语
• 德语
• 荷兰语
• 意大利语 管道标签: 文本转语音 推理: 不支持 数据集:
• facebook/multilingual_librispeech
• parler-tts/libritts_r_filtered
• parler-tts/libritts-r-filtered-speaker-descriptions
• parler-tts/mls_eng
• parler-tts/mls-eng-speaker-descriptions
• ylacombe/mls-annotated
• ylacombe/cml-tts-filtered-annotated
• PHBJT/cml-tts-filtered

Parler-TTS 迷你多语言版 v1.1

Parler-TTS 迷你多语言版 v1.1 是 Parler-TTS 迷你版 的多语言扩展。

🚨 与 迷你多语言版 v1 相比，此版本使用了一些一致的说话者名称和更好的描述格式进行训练。🚨

这是一个经过微调的版本，基于 CML-TTS 的 清理版本 和 多语言LibriSpeech 的非英语部分进行训练。总计，这代表了约9,200小时的非英语数据。为了保留英语能力，我们还添加了 LibriTTS-R 英语数据集，约580小时的高质量英语数据。

Parler-TTS 迷你多语言版 可以说8种欧洲语言：英语、法语、西班牙语、葡萄牙语、波兰语、德语、意大利语和荷兰语。

得益于其 更好的提示标记器，它可以轻松扩展到其他语言。这个标记器具有更大的词汇量并处理字节回退，简化了多语言训练。

🚨 这项工作是 HuggingFace音频团队 和 Quantum Squadra 团队 合作的结果。AI4Bharat 团队 也提供了改进标记化的建议和帮助。🚨

📖 快速索引

• 👨‍💻 安装
• 🎲 使用随机声音
• 🎯 使用特定说话者
• 动机
• 优化推理

🛠️ 使用

🚨与之前的Parler-TTS版本不同，这里我们使用两个标记器 - 一个用于提示，一个用于描述。🚨

👨‍💻 安装

使用Parler-TTS就像说"bonjour"一样简单。只需安装一次库：

pip install git+https://github.com/huggingface/parler-tts.git

🎲 随机声音

Parler-TTS 迷你多语言版 已经训练成可以通过简单的文本提示控制生成语音特征，例如：

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-mini-multilingual-v1.1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-mini-multilingual-v1.1")
description_tokenizer = AutoTokenizer.from_pretrained(model.config.text_encoder._name_or_path)

prompt = "Salut toi, comment vas-tu aujourd'hui?"
description = "一位女性说话者以中等速度和音高，略带表现力和生动的语气进行演讲。录音质量非常高，说话者的声音清晰且非常近距离。"

input_ids = description_tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)

🎯 使用特定说话者

为了确保生成过程中的说话者一致性，这个检查点还针对16个说话者进行了训练，这些说话者通过名称进行特征化（例如Daniel、Christine、Richard、Nicole等）。

要利用这一点，只需调整您的文本描述以指定要使用的说话者：Daniel的声音单调但语速稍快，录音非常近距离，几乎没有背景噪音。

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-mini-multilingual-v1.1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-mini-multilingual-v1.1")
description_tokenizer = AutoTokenizer.from_pretrained(model.config.text_encoder._name_or_path)

prompt = "Salut toi, comment vas-tu aujourd'hui?"
description = "Daniel的声音单调但语速稍快，录音非常近距离，几乎没有背景噪音。"

input_ids = description_tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)

您可以从以下列表中选择说话者：

提示：

• 我们设置了一个 推理指南 来加快生成速度。考虑使用SDPA、torch.compile、批处理和流式处理！
• 包含术语"非常清晰的音频"以生成最高质量的音频，以及"非常嘈杂的音频"以产生高水平的背景噪音
• 可以使用标点符号来控制生成的韵律，例如使用逗号在语音中添加小停顿
• 其余的语音特征（性别、语速、音高和混响）可以直接通过提示控制

动机

Parler-TTS是对Stability AI和爱丁堡大学的Dan Lyth和Simon King的论文 使用合成注释的高保真文本到语音的自然语言指导 工作的再现。

与其他TTS模型不同，Parler-TTS是一个 完全开源 的发布。所有数据集、预处理、训练代码和权重都在宽松许可下公开发布，使社区能够基于我们的工作构建并开发自己的强大TTS模型。 Parler-TTS与以下内容一起发布：

• Parler-TTS仓库 - 您可以训练和微调自己的模型版本。
• Data-Speech仓库 - 一套用于标注语音数据集的实用脚本。
• Parler-TTS组织 - 您可以找到标注的数据集以及未来的检查点。

引用

如果您发现这个仓库有用，请考虑引用这项工作以及原始的Stability AI论文：

@misc{lacombe-etal-2024-parler-tts,
  author = {Yoach Lacombe and Vaibhav Srivastav and Sanchit Gandhi},
  title = {Parler-TTS},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/huggingface/parler-tts}}
}

@misc{lyth2024natural,
      title={Natural language guidance of high-fidelity text-to-speech with synthetic annotations},
      author={Dan Lyth and Simon King},
      year={2024},
      eprint={2402.01912},
      archivePrefix={arXiv},
      primaryClass={cs.SD}
}

许可证

此模型在Apache 2.0许可证下宽松许可。