基础模型:

• parler-tts/parler-tts-mini-v1 语言:
• 英语 库名称: transformers 许可证: cc-by-nc-sa-4.0 任务标签: 文本转语音

Parler-TTS Mini v1 基于 ParaSpeechCaps-Base 的微调版本

我们在人工标注的 ParaSpeechCaps 数据集基础子集上微调了 parler-tts/parler-tts-mini-v1，创建了一个能够通过文本风格提示（如"一位男性说话者以含糊的发音、在清晰环境中以稳健的节奏表达"）控制丰富语音风格（音高、节奏、清晰度、情感等）的文本转语音模型。

如需我们基于完整 ParaSpeechCaps 数据集改进的微调模型，请访问 ajd12342/parler-tts-mini-v1-paraspeechcaps。

ParaSpeechCaps (PSC) 是我们提供语音丰富风格标注的大规模数据集，包含59个风格标签，涵盖说话者内在风格标签和语句情境风格标签。它由人工标注的基础子集 ParaSpeechCaps-Base 和自动标注的大规模扩展子集 ParaSpeechCaps-Scaled 组成。我们创新的流程结合了现成的文本和语音嵌入器、分类器及音频语言模型，首次实现了如此多样化风格标签的自动扩展标注。

更多信息请参阅我们的论文、代码库和演示网站。

许可证: CC BY-NC SA 4.0

使用指南

安装

本仓库已在 Python 3.11 环境下测试（通过conda create -n paraspeechcaps python=3.11创建），其他版本可能也适用。

git clone https://github.com/ajd12342/paraspeechcaps.git
cd paraspeechcaps/model/parler-tts
pip install -e .[train]

推理运行

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"
model_name = "ajd12342/parler-tts-mini-v1-paraspeechcaps-only-base"
guidance_scale = 1.5

model = ParlerTTSForConditionalGeneration.from_pretrained(model_name).to(device)
description_tokenizer = AutoTokenizer.from_pretrained(model_name)
transcription_tokenizer = AutoTokenizer.from_pretrained(model_name, padding_side="left")

input_description = "在清晰环境中，一个男性声音以悲伤的语调说话。".replace('\n', ' ').rstrip()
input_transcription = "那是你的房东吗？".replace('\n', ' ').rstrip()

input_description_tokenized = description_tokenizer(input_description, return_tensors="pt").to(model.device)
input_transcription_tokenized = transcription_tokenizer(input_transcription, return_tensors="pt").to(model.device)

generation = model.generate(input_ids=input_description_tokenized.input_ids, prompt_input_ids=input_transcription_tokenized.input_ids, guidance_scale=guidance_scale)

audio_arr = generation.cpu().numpy().squeeze()
sf.write("output.wav", audio_arr, model.config.sampling_rate)

完整推理脚本（包含基于ASR的重复采样选择等功能）请参考我们的代码库。

引用

若使用本模型、数据集或代码库，请引用我们的工作：

@misc{diwan2025scalingrichstylepromptedtexttospeech,
      title={扩展丰富风格提示的文本转语音数据集}, 
      author={Anuj Diwan and Zhisheng Zheng and David Harwath and Eunsol Choi},
      year={2025},
      eprint={2503.04713},
      archivePrefix={arXiv},
      primaryClass={eess.AS},
      url={https://arxiv.org/abs/2503.04713}, 
}