库名称: transformers 标签:

• 文本转语音
• 标注 许可证: apache-2.0 语言:
• 英语 管道标签: 文本转语音 推理: false 数据集:
• parler-tts/mls_eng
• parler-tts/libritts_r_filtered
• parler-tts/libritts-r-filtered-speaker-descriptions
• parler-tts/mls-eng-speaker-descriptions

Parler-TTS微型版v1

Parler-TTS微型版v1是一款极其轻量级的文本转语音(TTS)模型，基于4.5万小时音频数据训练而成，能够生成高质量、自然流畅的语音，其特性可通过简单文本提示控制（如性别、背景噪音、语速、音调和混响）。

作为Parler-TTS迷你版v1和Parler-TTS大型版v1的补充，这是Parler-TTS项目发布的第二组模型，旨在为社区提供TTS训练资源和数据集预处理代码。

📖 快速索引

• 👨‍💻 安装
• 🎲 使用随机声音
• 🎯 使用特定说话人
• 项目动机
• 优化推理

🛠️ 使用指南

👨‍💻 安装

使用Parler-TTS就像说"你好"一样简单。只需一次性安装库：

pip install git+https://github.com/huggingface/parler-tts.git

🎲 随机声音

Parler-TTS经过训练，可通过简单文本提示控制生成具有特定特征的语音，例如：

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-tiny-v1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-tiny-v1")

prompt = "嘿，今天过得怎么样？"
description = "一位女性说话人以略带表现力和生动的语气，以中等速度和音调进行表达。录音质量极高，说话人声音清晰且非常近距离。"

input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)

🎯 使用特定说话人

为确保生成语音的说话人一致性，该检查点还针对34个具有姓名特征的说话人（如Jon、Lea、Gary、Jenna、Mike、Laura）进行了训练。

要利用此功能，只需调整文本描述以指定要使用的说话人：Jon的声音单调但语速稍快，录音非常近距离，几乎没有背景噪音。

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-tiny-v1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-tiny-v1")

prompt = "嘿，今天过得怎么样？"
description = "Jon的声音单调但语速稍快，录音非常近距离，几乎没有背景噪音。"

input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)

提示：

• 我们设置了推理指南以加速生成。考虑使用SDPA、torch.compile、批处理和流式处理！
• 包含术语"非常清晰的音频"以生成最高质量的音频，"非常嘈杂的音频"则表示高水平的背景噪音
• 可使用标点符号控制生成的韵律，例如使用逗号在语音中添加短暂停顿
• 其余语音特征（性别、语速、音调和混响）可直接通过提示控制

项目动机

Parler-TTS是对Stability AI和爱丁堡大学的Dan Lyth与Simon King所著论文《使用合成标注的高保真文本转语音自然语言引导》工作的复现。

与其他TTS模型不同，Parler-TTS是一个完全开源的版本。所有数据集、预处理、训练代码和权重均在宽松许可下公开发布，使社区能够基于我们的工作开发自己的强大TTS模型。 Parler-TTS发布时还包含：

• Parler-TTS仓库 - 可训练和微调自己的模型版本
• Data-Speech仓库 - 一套用于标注语音数据集的实用脚本
• Parler-TTS组织 - 可找到标注数据集及未来检查点

引用

如果本仓库对您有帮助，请考虑引用本工作及原始Stability AI论文：

@misc{lacombe-etal-2024-parler-tts,
  author = {Yoach Lacombe and Vaibhav Srivastav and Sanchit Gandhi},
  title = {Parler-TTS},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/huggingface/parler-tts}}
}

@misc{lyth2024natural,
      title={Natural language guidance of high-fidelity text-to-speech with synthetic annotations},
      author={Dan Lyth and Simon King},
      year={2024},
      eprint={2402.01912},
      archivePrefix={arXiv},
      primaryClass={cs.SD}
}

许可证

本模型采用Apache 2.0许可协议，属宽松许可。