许可证：Apache-2.0
支持语言：

• 中文
  库名称：transformers.js
  任务类型：文本转语音

VITS：基于对抗学习的条件变分自编码器端到端文本转语音模型

VITS是一种端到端语音合成模型，能够根据输入的文本序列预测对应的语音波形。该模型采用条件变分自编码器（VAE）架构，包含后验编码器、解码器和条件先验模块。

模型详情

支持语言：中文
训练数据集：THCHS-30
发音人数量：44人
训练时长：48小时

使用方法

通过Hugging Face Transformers调用该模型：

from transformers import VitsModel, VitsTokenizer
from pypinyin import lazy_pinyin, Style
import torch

model = VitsModel.from_pretrained("BricksDisplay/vits-cmn")
tokenizer = VitsTokenizer.from_pretrained("BricksDisplay/vits-cmn")

text = "中文"
payload = ''.join(lazy_pinyin(text, style=Style.TONE, tone_sandhi=True))
inputs = tokenizer(payload, return_tensors="pt")

with torch.no_grad():
    output = model(**inputs, speaker_id=0)

from IPython.display import Audio
Audio(output.audio[0], rate=16000)

通过Transformers.js调用该模型：

import { pipeline } from '@xenova/transformers';
import { pinyin } from 'pinyin-pro'; // 本示例使用`pinyin-pro`库

const synthesizer = await pipeline('text-to-audio', 'BricksDisplay/vits-cmn', { quantized: false })
console.log(await synthesizer(pinyin("中文")))
// 输出示例：
// {
//   audio: Float32Array(?) [ ... ],
//   sampling_rate: 16000
// }

注：Transformers.js（ONNX版本）暂不支持speaker_id参数，该功能将在0.x版本中实现