🚀 Canary-TTS-150M
Canary-TTS-150M 是一个基于 llm-jp/llm-jp-3-150m-instruct3 训练的文本转语音(TTS)模型。它采用了与 Parler‑TTS 相同的提示方式,通过更改控制提示和朗读提示,可以对音质进行精细控制。该模型是在训练 Canary-TTS 0.5B 时创建的实验模型,因此推荐使用 Canary-TTS 0.5B。
🚀 快速开始
Canary-TTS 索引
快速索引
✨ 主要特性
- 通过控制提示控制音高和噪声。
- 通过朗读提示进行文本朗读。
- 基于 Parler‑TTS 和 XCodec2 的代码构建。
- 基于 llama,可转移大语言模型(LLM)技术。
📦 安装指南
pip install torch torchvision torchaudio
pip install git+https://github.com/getuka/canary-tts.git
💻 使用示例
基础用法
import torch, torchaudio
from transformers import AutoModelForCausalLM, AutoTokenizer
from canary_tts.xcodec2.modeling_xcodec2 import XCodec2Model
from rubyinserter import add_ruby
tokenizer = AutoTokenizer.from_pretrained("2121-8/canary-tts-150m")
model = AutoModelForCausalLM.from_pretrained("2121-8/canary-tts-150m", device_map="auto", torch_dtype=torch.bfloat16)
codec = XCodec2Model.from_pretrained("HKUSTAudio/xcodec2")
description = "A man voice, with a very hight pitch, speaks in a monotone manner. The recording quality is very noises and close-sounding, indicating a good or excellent audio capture."
prompt = 'こんにちは。お元気ですか?'
prompt = add_ruby(prompt)
chat = [
{"role": "system", "content": description},
{"role": "user", "content": prompt}
]
tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)
with torch.no_grad():
output = model.generate(
tokenized_input,
max_new_tokens=256,
top_p=0.95,
temperature=0.7,
repetition_penalty=1.05,
)[0]
audio_tokens = output[len(tokenized_input[0]):]
output_audios = codec.decode_code(audio_tokens.unsqueeze(0).unsqueeze(0).cpu())
torchaudio.save("sample.wav", src=output_audios[0].cpu(), sample_rate=16000)
📚 详细文档
模型
属性 |
详情 |
模型名称 |
2121‑8/canary‑tts‑150m |
基础模型 |
llm-jp/llm-jp-3-150m-instruct3 |
音频解码器 |
HKUSTAudio/xcodec2 |
示例语音
致谢
- Parler‑TTS 社区
- XCodec2 开发者
许可证
CC BY‑NC 4.0
版权信息
音频解码器
模型
版权及使用免责声明
请遵守以下条件:
- 适用性免责:创建者不保证使用本模型所获得结果的准确性、合法性或适用性。
- 用户责任:使用本模型时,请遵守所有适用的法律法规。生成内容所产生的所有责任均由用户承担。
- 创建者免责:本仓库和模型的创建者不承担任何版权侵权或其他法律问题的责任。
- 处理删除请求:如发生版权问题,将立即删除有问题的资源或数据。