库名称: transformers 标签:

• 文本转语音
• 标注 许可证: apache-2.0 语言:
• 英语 管道标签: 文本转语音 推理: false 数据集:
  • parler-tts/mls_eng_10k
  • blabble-io/libritts_r
  • parler-tts/libritts_r_tags_tagged_10k_generated
  • parler-tts/mls-eng-10k-tags_tagged_10k_generated

Parler-TTS Mini v0.1

• Colab 微调指南:

Parler-TTS Mini v0.1 是一个轻量级的文本转语音（TTS）模型，基于 10.5K 小时的音频数据训练而成，能够生成高质量、自然流畅的语音，并通过简单的文本提示（如性别、背景噪音、语速、音调和混响）控制语音特征。这是 Parler-TTS 项目的首个发布模型，该项目旨在为社区提供 TTS 训练资源和数据集预处理代码。

使用方法

使用 Parler-TTS 就像说“你好”一样简单。只需安装一次库：

pip install git+https://github.com/huggingface/parler-tts.git

然后，您可以使用以下推理代码片段运行模型：

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler_tts_mini_v0.1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler_tts_mini_v0.1")

prompt = "嘿，你今天过得怎么样？"
description = "一位音调略低的女声非常富有表现力地表达，声音来自一个非常封闭的环境，音频质量清晰。她语速非常快。"

input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)

提示:

• 包含“非常清晰的音频”可以生成最高质量的音频，而“非常嘈杂的音频”则会生成高背景噪音的音频。
• 标点符号可用于控制生成的韵律，例如使用逗号在语音中添加短暂停顿。
• 其余语音特征（性别、语速、音调和混响）可以直接通过提示控制。

动机

Parler-TTS 是对 Stability AI 和爱丁堡大学的 Dan Lyth 和 Simon King 发表的论文《Natural language guidance of high-fidelity text-to-speech with synthetic annotations》工作的复现。

与其他 TTS 模型不同，Parler-TTS 是一个完全开源的发布版本。所有数据集、预处理、训练代码和权重均在宽松许可下公开发布，使社区能够基于我们的工作开发自己的强大 TTS 模型。 Parler-TTS 发布时还附带：

• Parler-TTS 仓库 —— 您可以训练和微调自己的模型版本。
• Data-Speech 仓库 —— 一套用于标注语音数据集的实用脚本。
• Parler-TTS 组织 —— 您可以在此找到标注数据集以及未来的检查点。

引用

如果您觉得这个仓库有用，请考虑引用本工作以及原始的 Stability AI 论文：

@misc{lacombe-etal-2024-parler-tts,
  author = {Yoach Lacombe and Vaibhav Srivastav and Sanchit Gandhi},
  title = {Parler-TTS},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/huggingface/parler-tts}}
}

@misc{lyth2024natural,
      title={Natural language guidance of high-fidelity text-to-speech with synthetic annotations},
      author={Dan Lyth and Simon King},
      year={2024},
      eprint={2402.01912},
      archivePrefix={arXiv},
      primaryClass={cs.SD}
}

许可证

本模型在 Apache 2.0 许可下发布。