library_name: transformers
tags:

• 文本转语音
• 标注
  license: apache-2.0
  language:
• 英文
  pipeline_tag: text-to-speech
  inference: false
  datasets:
• parler-tts/mls_eng
• parler-tts/libritts_r_filtered
• parler-tts/libritts-r-filtered-speaker-descriptions
• parler-tts/mls-eng-speaker-descriptions

Parler-TTS Mini v1 迷你版

Parler-TTS Mini v1 是一款轻量级文本转语音（TTS）模型，基于4.5万小时音频数据训练而成，能够生成高质量、自然流畅的语音，并通过简单文本提示控制语音特征（如性别、背景噪音、语速、音高和混响效果）。

作为Parler-TTS Large v1的姊妹模型，这是Parler-TTS项目发布的第二组模型。该项目旨在为社区提供TTS训练资源和数据集预处理代码。

📖 快速索引

• 👨‍💻 安装
• 🎲 随机音色生成
• 🎯 指定说话人
• 项目背景
• 推理优化指南

🛠️ 使用方法

👨‍💻 安装

安装Parler-TTS只需一句命令：

pip install git+https://github.com/huggingface/parler-tts.git  

🎲 随机音色

通过文本提示控制语音特征：

import torch  
from parler_tts import ParlerTTSForConditionalGeneration  
from transformers import AutoTokenizer  
import soundfile as sf  

device = "cuda:0" if torch.cuda.is_available() else "cpu"  

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-mini-v1").to(device)  
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-mini-v1")  

prompt = "嘿，今天过得怎么样？"  
description = "一位女声以中等语速和音高进行略带表现力的生动播报，录音质量极高，声音清晰且近距离收声。"  

input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)  
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)  

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)  
audio_arr = generation.cpu().numpy().squeeze()  
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)  

🎯 指定说话人

模型支持34个预定义说话人（如Jon、Lea、Gary等），通过描述文本指定：

description = "Jon的声音单调但语速稍快，近距离录制几乎无背景噪音。"  

技巧：

• 使用推理优化指南加速生成
• 添加"非常清晰的音频"提示可提升音质，"非常嘈杂的音频"则增加背景噪音
• 标点符号可控制韵律（如逗号添加短暂停顿）
• 性别/语速/音高/混响等特征可直接通过提示词调节

项目背景

Parler-TTS复现了Stability AI与爱丁堡大学合作的论文《Natural language guidance of high-fidelity text-to-speech with synthetic annotations》成果。

与其他TTS模型不同，Parler-TTS是完全开源的，所有数据集、预处理代码、训练代码和权重均采用宽松许可协议发布。项目同步开放：

• Parler-TTS代码库 - 支持自定义训练
• Data-Speech工具集 - 语音数据集标注工具
• Parler-TTS组织 - 获取标注数据集及后续模型

引用

若使用本作品，请引用：

@misc{lacombe-etal-2024-parler-tts,  
  author = {Yoach Lacombe 等},  
  title = {Parler-TTS},  
  year = {2024},  
  publisher = {GitHub},  
  journal = {GitHub repository},  
  howpublished = {\url{https://github.com/huggingface/parler-tts}}  
}  

原始论文引用：

@misc{lyth2024natural,  
      title={Natural language guidance of high-fidelity text-to-speech with synthetic annotations},  
      author={Dan Lyth 等},  
      year={2024},  
      eprint={2402.01912},  
      archivePrefix={arXiv},  
      primaryClass={cs.SD}  
}  

许可

本模型采用Apache 2.0许可协议。