library_name: transformers
tags:

• 文本转语音
• 标注
  license: apache-2.0
  language:
• en
  pipeline_tag: text-to-speech
  inference: false
  datasets:
• parler-tts/mls_eng
• parler-tts/libritts_r_filtered
• parler-tts/libritts-r-filtered-speaker-descriptions
• parler-tts/mls-eng-speaker-descriptions

Parler-TTS 大模型 v1 版

Parler-TTS 大模型 v1 版 是一个拥有22亿参数的文本转语音（TTS）模型，基于4.5万小时音频数据训练而成，能够生成高质量、自然流畅的语音，并通过简单文本提示控制特征（如性别、背景噪音、语速、音高和混响效果）。

作为继 Parler-TTS 迷你模型 v1 版 之后发布的第二组模型，该项目隶属于 Parler-TTS 计划，旨在为社区提供TTS训练资源和数据集预处理代码。

📖 快速索引

• 👨‍💻 安装
• 🎲 随机音色生成
• 🎯 指定说话人
• 项目背景
• 推理优化指南

🛠️ 使用方法

👨‍💻 安装

使用Parler-TTS如同说"bonjour"一样简单。只需运行一次安装命令：

pip install git+https://github.com/huggingface/parler-tts.git  

🎲 随机音色

Parler-TTS 能够根据文本提示生成可控特征的语音，例如：

import torch  
from parler_tts import ParlerTTSForConditionalGeneration  
from transformers import AutoTokenizer  
import soundfile as sf  

device = "cuda:0" if torch.cuda.is_available() else "cpu"  

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-large-v1").to(device)  
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-large-v1")  

prompt = "嘿，你今天过得怎么样？"  
description = "一位女声以略带表现力和生动的语调，用中等语速和音高进行播报。录音质量极高，声音清晰且近距离收录。"  

input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)  
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)  

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)  
audio_arr = generation.cpu().numpy().squeeze()  
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)  

🎯 指定说话人

为确保生成语音的说话人一致性，该模型还针对34个特征鲜明的说话人（如Jon、Lea、Gary、Jenna、Mike、Laura）进行了训练。

使用时只需在文本描述中指定说话人：Jon的声音单调但语速稍快，录音距离极近且几乎无背景噪音。

import torch  
from parler_tts import ParlerTTSForConditionalGeneration  
from transformers import AutoTokenizer  
import soundfile as sf  

device = "cuda:0" if torch.cuda.is_available() else "cpu"  

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-large-v1").to(device)  
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-large-v1")  

prompt = "嘿，你今天过得怎么样？"  
description = "Jon的声音单调但语速稍快，录音距离极近且几乎无背景噪音。"  

input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)  
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)  

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)  
audio_arr = generation.cpu().numpy().squeeze()  
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)  

技巧：

• 我们提供了推理优化指南，包含SDPA、torch.compile、批处理和流式处理加速方案
• 使用"极高清晰度音频"描述可获得最佳音质，"高环境噪音"则生成背景嘈杂效果
• 标点符号可控制语音韵律（如逗号实现短暂停顿）
• 其他特征（性别、语速、音高、混响）可直接通过提示词调节

项目背景

Parler-TTS复现了Stability AI与爱丁堡大学研究者Dan Lyth和Simon King的论文成果《用合成标注实现高保真文本转语音的自然语言引导》。

与其他TTS模型不同，Parler-TTS是完全开源的发布。所有数据集、预处理代码、训练代码和权重均采用宽松许可协议公开，便于社区在此基础开发更强大的TTS模型。
项目同步开放：

• Parler-TTS代码库 - 支持自定义模型训练与微调
• Data-Speech工具库 - 语音数据集标注工具集
• Parler-TTS组织页 - 获取标注数据集及未来模型

引用

若使用本资源，请引用本工作及原始论文：

@misc{lacombe-etal-2024-parler-tts,  
  author = {Yoach Lacombe and Vaibhav Srivastav and Sanchit Gandhi},  
  title = {Parler-TTS},  
  year = {2024},  
  publisher = {GitHub},  
  journal = {GitHub repository},  
  howpublished = {\url{https://github.com/huggingface/parler-tts}}  
}  

@misc{lyth2024natural,  
      title={Natural language guidance of high-fidelity text-to-speech with synthetic annotations},  
      author={Dan Lyth and Simon King},  
      year={2024},  
      eprint={2402.01912},  
      archivePrefix={arXiv},  
      primaryClass={cs.SD}  
}  

许可

本模型采用Apache 2.0许可协议。