库名称：transformers
流水线标签：文本转语音
标签：

• transformers.js
• mms
• vits
  许可证：cc-by-nc-4.0
  数据集：
• ylacombe/google-chilean-spanish
  语言：
• es

模型

这是西班牙语版本的大规模多语言语音（MMS）模型的微调版本，该模型基于VITS架构，是一种轻量级、低延迟的文本转语音模型。

训练仅耗时约20分钟，使用了80至150个样本，数据来源于这个智利西班牙语数据集。

训练方法详见GitHub仓库：ylacombe/finetune-hf-vits。

使用方法

Transformers

from transformers import pipeline  
import scipy  

model_id = "ylacombe/mms-spa-finetuned-chilean-monospeaker"  
synthesiser = pipeline("text-to-speech", model_id) # 如需使用GPU，添加device=0  

speech = synthesiser("Hola, ¿cómo estás hoy?")  

scipy.io.wavfile.write("finetuned_output.wav", rate=speech["sampling_rate"], data=speech["audio"])  

Transformers.js

如果尚未安装，可以通过NPM安装Transformers.js JavaScript库：

npm i @xenova/transformers  

示例： 使用ylacombe/mms-spa-finetuned-chilean-monospeaker生成西班牙语语音。

import { pipeline } from '@xenova/transformers';  

// 创建文本转语音流水线  
const synthesizer = await pipeline('text-to-speech', 'ylacombe/mms-spa-finetuned-chilean-monospeaker', {  
    quantized: false, // 移除此行以使用量化版本（默认）  
});  

// 生成语音  
const output = await synthesizer('Hola, ¿cómo estás hoy?');  
console.log(output);  
// {  
//   audio: Float32Array(69888) [ ... ],  
//   sampling_rate: 16000  
// }  

可选步骤：将音频保存为wav文件（Node.js环境）：

import wavefile from 'wavefile';  
import fs from 'fs';  

const wav = new wavefile.WaveFile();  
wav.fromScratch(1, output.sampling_rate, '32f', output.audio);  
fs.writeFileSync('out.wav', wav.toBuffer());